[论文解读] A Hybrid Differential Evolution Approach to Designing Deep Convolutional Neural Networks for Image Classification

Bin Wang, Yanan Sun+2 more|arXiv (Cornell University)|Aug 20, 2018

Metaheuristic Optimization Algorithms Research被引用 9

一句话总结

该论文提出DECNN，一种混合差分进化算法，可在无固定深度限制的情况下，自动演化用于图像分类的深度卷积神经网络（CNN）架构。通过改进可变长度CNN的编码方案，引入新型变异和交叉算子，并增加第二个交叉算子以优化深度，DECNN在六个基准数据集上实现了最先进性能，优于12种现有方法及一种粒子群优化基线方法（IPPSO）。

ABSTRACT

Convolutional Neural Networks (CNNs) have demonstrated their superiority in image classification, and evolutionary computation (EC) methods have recently been surging to automatically design the architectures of CNNs to save the tedious work of manually designing CNNs. In this paper, a new hybrid differential evolution (DE) algorithm with a newly added crossover operator is proposed to evolve the architectures of CNNs of any lengths, which is named DECNN. There are three new ideas in the proposed DECNN method. Firstly, an existing effective encoding scheme is refined to cater for variable-length CNN architectures; Secondly, the new mutation and crossover operators are developed for variable-length DE to optimise the hyperparameters of CNNs; Finally, the new second crossover is introduced to evolve the depth of the CNN architectures. The proposed algorithm is tested on six widely-used benchmark datasets and the results are compared to 12 state-of-the-art methods, which shows the proposed method is vigorously competitive to the state-of-the-art algorithms. Furthermore, the proposed method is also compared with a method using particle swarm optimisation with a similar encoding strategy named IPPSO, and the proposed DECNN outperforms IPPSO in terms of the accuracy.

研究动机与目标

• 为克服现有CNN架构搜索方法中固定最大深度的局限性，特别是那些需要预先定义网络深度的编码策略。
• 开发一种能够处理可变长度向量的差分进化（DE）框架，以演化任意深度的CNN架构。
• 设计适用于可变长度DE的新型变异和交叉算子，以优化CNN的超参数。
• 引入第二个交叉算子，使子代能够以不同于父代的深度生成，从而增强对最优架构深度的搜索能力。
• 在多样化的图像分类基准上，将所提出的DECNN方法与12种最先进方法及一种基于PSO的对比方法（IPPSO）进行评估。

提出的方法

• 改进了基于IP的编码策略（IPES），消除了对预定义最大深度的需求，实现了CNN架构的真正可变长度表示。
• 设计了一种新型变异算子，通过在可变长度候选向量中随机选择索引，并基于父代向量应用差分变异来操作。
• 开发了主要的交叉算子，通过使用随机索引和交叉率对可变长度向量执行二项式交叉，以生成试验向量。
• 引入了第二个交叉算子，可从父代生成两个深度不同的子代：一个更长，一个更短，从而通过竞争实现深度探索。
• 将新算子集成到混合DE框架（DECNN）中，通过基于适应度（分类准确率）的迭代选择来演化CNN架构。
• 将该算法应用于六个基准数据集，通过在每个候选架构上训练和验证的准确率来评估适应度。

实验结果

研究问题

• RQ1 基于差分进化的方法是否能有效演化可变长度CNN架构，而无需预先定义最大深度？
• RQ2 为可变长度向量设计的新型变异和交叉算子在CNN架构设计搜索性能方面有何提升作用？
• RQ3 第二个交叉算子——特别是其生成不同深度子代的能力——对CNN深度优化及整体准确率的影响如何？
• RQ4 DECNN在多样化的图像分类基准上与12种最先进CNN架构搜索方法相比，性能表现如何？
• RQ5 DECNN在准确率和收敛稳定性方面是否优于具有相似编码策略的同类进化计算方法（IPPSO）？

主要发现

• 在MBI和MRB数据集上，DECNN分别以第一名和第二名的排名，取得了最高的分类准确率，优于全部13种对比方法。
• 在MRD和MDRBI数据集上，DECNN分别位列第三和第二，表现出在复杂数据集上的强劲性能。
• 在MB数据集上，DECNN的平均误差率为1.457%，优于IPPSO的平均误差率1.558%，p值为0.01，表明具有统计显著性。
• 在六个数据集中的五个上，DECNN的误差率标准差始终低于IPPSO，表明其具有更高的鲁棒性。
• DECNN所演化出的CNN架构的平均长度从初始的约10层显著减少至3至5层，表明其能根据数据集复杂度实现有效的深度优化。
• 第二个交叉算子显著提升了性能，通过使子代具备深度可变性，使选择过程更倾向于深度更优且超参数配置更优的架构。