[论文解读] Evolving Deep Convolutional Neural Networks by Variable-length Particle Swarm Optimization for Image Classification

Bin Wang, Yanan Sun+2 more|arXiv (Cornell University)|Mar 17, 2018

Advanced Neural Network Applications被引用 11

一句话总结

本文提出了一种改进的粒子群优化（IPPSO）方法，用于自动演化深度卷积神经网络（CNN）架构以实现图像分类。通过引入一种新型基于IP的编码方案、用于可变长度粒子表示的禁用层，以及部分数据集评估策略，IPPSO在MDRBI数据集上实现了优于所有基线方法的性能，并在MNIST数据集上排名第二，成为首个实现端到端CNN架构搜索的PSO方法。

ABSTRACT

Convolutional neural networks (CNNs) are one of the most effective deep learning methods to solve image classification problems, but the best architecture of a CNN to solve a specific problem can be extremely complicated and hard to design. This paper focuses on utilising Particle Swarm Optimisation (PSO) to automatically search for the optimal architecture of CNNs without any manual work involved. In order to achieve the goal, three improvements are made based on traditional PSO. First, a novel encoding strategy inspired by computer networks which empowers particle vectors to easily encode CNN layers is proposed; Second, in order to allow the proposed method to learn variable-length CNN architectures, a Disabled layer is designed to hide some dimensions of the particle vector to achieve variable-length particles; Third, since the learning process on large data is slow, partial datasets are randomly picked for the evaluation to dramatically speed it up. The proposed algorithm is examined and compared with 12 existing algorithms including the state-of-art methods on three widely used image classification benchmark datasets. The experimental results show that the proposed algorithm is a strong competitor to the state-of-art algorithms in terms of classification error. This is the first work using PSO for automatically evolving the architectures of CNNs.

研究动机与目标

• 开发一种无需人工干预的自动化、高效且有效的最优CNN架构演化方法。
• 通过支持可变长度粒子向量，克服传统PSO的固定长度限制，以适应多样化的CNN架构。
• 通过使用随机采样的部分数据集而非完整数据集，加速大规模深度学习中的适应度评估。
• 设计一种新型编码策略，利用IP地址和子网结构有效表示CNN层配置。
• 证明PSO在演化深度神经网络架构方面的可行性与优越性，该领域此前主要由遗传算法和遗传编程主导。

提出的方法

• 提出一种基于IP的编码方案，其中每个CNN层被表示为具有IP地址和子网的网络接口，从而实现对层类型和配置的灵活且可扩展的表示。
• 引入“禁用层”作为占位符，以动态控制粒子长度，使PSO算法能够在传统PSO固有的固定长度限制下，演化可变长度的CNN架构。
• 在适应度评估过程中采用部分数据集采样策略，显著减少训练时间，同时保留检测性能趋势的能力。
• 将标准PSO更新机制适配至基于IP编码的粒子向量上，通过个体最优和全局最优解引导速度与位置更新。
• 使用主成分分析（PCA）可视化准确率景观和PSO轨迹，以洞察优化动态与收敛行为。
• 为简化与高效，采用全连接PSO拓扑结构，每轮运行30个粒子，并在三个标准图像分类基准上评估性能。

实验结果

研究问题

• RQ1 粒子群优化能否被有效适配以自动演化用于图像分类的深度卷积神经网络架构？
• RQ2 如何克服传统PSO的固定长度限制，以实现可变长度CNN架构的演化？
• RQ3 在显著降低计算成本的同时，部分数据集评估在多大程度上能保持适应度评估的准确性？
• RQ4 与现有用于神经架构搜索的进化算法表示方法相比，所提出的基于IP的编码方案在表达能力和可扩展性方面表现如何？
• RQ5 所提出的IPPSO方法在标准图像分类基准上相对于最先进神经架构搜索算法的性能如何？

主要发现

• 所提出的IPPSO方法在MDRBI基准数据集上实现了最低的分类错误率，优于所有12种对比算法。
• 在MNIST数据集上，IPPSO在所有方法中排名第二，表现出强劲的竞争力。
• 在CS基准数据集上，IPPSO的性能高于所有对比方法的中位数，表明其结果具有一致性和可靠性。
• 通过PCA可视化优化景观，揭示了大量局部最优解，但PSO能迅速收敛至高准确率解，表明其具有鲁棒性与高效性。
• PSO轨迹显示，全局最优解在仅几个世代内即被找到，此后未再出现进一步改进，证实了其快速收敛特性。
• 使用部分数据集进行适应度评估显著加速了训练过程，同时未损害识别高性能架构的能力。