[论文解读] A Hybrid DE Approach to Designing CNN for Image Classification

Bin Wang, Yanan Sun+2 more|arXiv (Cornell University)|Aug 20, 2018

Neural Networks and Applications被引用 1

一句话总结

本文提出DECNN，一种结合新型交叉算子的混合差分进化算法，可自动演化可变长度的卷积神经网络（CNN）架构。通过优化编码方案并引入专门的变异与交叉算子——包括用于优化网络深度的第二个交叉算子——该方法在六个基准数据集上实现了最先进性能，准确率优于12种现有方法及一种可比的粒子群优化方法。

ABSTRACT

Convolutional Neural Networks (CNNs) have demonstrated their superiority in image classification, and evolutionary computation (EC) methods have recently been surging to automatically design the architectures of CNNs to save the tedious work of manually designing CNNs. In this paper, a new hybrid differential evolution (DE) algorithm with a newly added crossover operator is proposed to evolve the architectures of CNNs of any lengths, which is named DECNN. There are three new ideas in the proposed DECNN method. Firstly, an existing effective encoding scheme is refined to cater for variable-length CNN architectures; Secondly, the new mutation and crossover operators are developed for variable-length DE to optimise the hyperparameters of CNNs; Finally, the new second crossover is introduced to evolve the depth of the CNN architectures. The proposed algorithm is tested on six widely-used benchmark datasets and the results are compared to 12 state-of-the-art methods, which shows the proposed method is vigorously competitive to the state-of-the-art algorithms. Furthermore, the proposed method is also compared with a method using particle swarm optimisation with a similar encoding strategy named IPPSO, and the proposed DECNN outperforms IPPSO in terms of the accuracy.

研究动机与目标

• 解决为图像分类设计高效CNN架构所需的高人力成本问题。
• 通过进化计算实现可变深度与架构的CNN自动演化。
• 通过新型差分进化算子提升CNN超参数的优化性能。
• 通过自动化架构搜索，超越现有最先进方法在图像分类准确率上的表现。

提出的方法

• 采用优化的编码方案表示可变长度的CNN架构，实现在进化过程中的灵活且高效的表示。
• 设计了一种专用于可变长度差分进化的新变异算子，以探索多样化的CNN架构。
• 引入一种新型交叉算子，以增强CNN超参数演化过程中的多样性与收敛性。
• 专门开发了第二个交叉机制，用于演化CNN架构的深度，从而提升架构优化效果。
• 将该算法应用于六个基准数据集，基于分类准确率的适应度函数演化CNN。
• 将该方法与12种最先进方法及采用相同编码策略的粒子群优化变体（IPPSO）进行比较。

实验结果

研究问题

• RQ1 混合差分进化算法能否有效演化用于图像分类的可变长度CNN架构？
• RQ2 与标准DE相比，所提出的新型交叉算子在CNN超参数优化方面有何改进？
• RQ3 专门针对网络深度设计的第二个交叉算子在架构搜索中对性能的提升程度如何？
• RQ4 所提出的DECNN方法是否在准确率上超越了现有最先进自动化CNN设计方法？
• RQ5 在采用相同编码策略的情况下，DECNN与类似的粒子群优化方法（IPPSO）相比性能如何？

主要发现

• 所提出的DECNN方法在六个广泛使用的基准数据集上实现了具有竞争力的性能，其图像分类准确率优于12种最先进方法。
• 在采用相同编码策略时，DECNN的分类准确率高于基于粒子群优化的方法IPPSO。
• 第二个交叉算子的引入显著提升了CNN深度的优化效果，从而贡献于整体性能的提升。
• 优化的编码方案成功支持了可变架构长度CNN的表示与演化。
• 新型变异与交叉算子增强了搜索空间中的探索与开发能力，从而实现了更有效的CNN架构发现。
• 结果证实，结合定制算子的混合DE是自动化CNN架构设计的一种稳健且高效的方法。