[论文解读] Evolving Deep Neural Networks by Multi-objective Particle Swarm Optimization for Image Classification

Bin Wang, Yanan Sun+2 more|arXiv (Cornell University)|Mar 21, 2019

Advanced Neural Network Applications参考文献 22被引用 4

一句话总结

该论文提出MOCNN，一种多目标粒子群优化框架，通过同时优化分类准确率和浮点运算量（FLOPs）来平衡性能与效率，从而演化深度卷积神经网络（CNNs）。该方法提出了一种针对DenseNet架构的新编码策略，采用OMOPSO算法探索Pareto最优解，并构建了分布式GPU基础设施，实现了近线性加速，使在CIFAR-10上的准确率达到95.51%，优于DenseNet-121的同时降低了计算成本。

ABSTRACT

In recent years, convolutional neural networks (CNNs) have become deeper in order to achieve better classification accuracy in image classification. However, it is difficult to deploy the state-of-the-art deep CNNs for industrial use due to the difficulty of manually fine-tuning the hyperparameters and the trade-off between classification accuracy and computational cost. This paper proposes a novel multi-objective optimization method for evolving state-of-the-art deep CNNs in real-life applications, which automatically evolves the non-dominant solutions at the Pareto front. Three major contributions are made: Firstly, a new encoding strategy is designed to encode one of the best state-of-the-art CNNs; With the classification accuracy and the number of floating point operations as the two objectives, a multi-objective particle swarm optimization method is developed to evolve the non-dominant solutions; Last but not least, a new infrastructure is designed to boost the experiments by concurrently running the experiments on multiple GPUs across multiple machines, and a Python library is developed and released to manage the infrastructure. The experimental results demonstrate that the non-dominant solutions found by the proposed algorithm form a clear Pareto front, and the proposed infrastructure is able to almost linearly reduce the running time.

研究动机与目标

• 为解决在工业应用中部署最先进深度CNN时面临的高超参数调优复杂性及准确率与推理延迟之间的权衡问题。
• 开发一种多目标优化方法，同时提升分类准确率并降低计算成本（以FLOPs衡量），以适应实际部署需求。
• 设计一种高效、可扩展的基础设施，利用多台机器上的多个GPU，显著缩短进化CNN搜索的训练时间。
• 生成一组非支配的、Pareto最优的CNN架构，使工业用户可根据其特定的准确率和延迟需求进行模型选择。

提出的方法

• 设计了一种新型编码策略，通过参数化关键超参数（如密集块数量、增长率以及每一块的层数）来表示基于DenseNet的CNN。
• 将多目标优化问题形式化为两个目标：最大化分类准确率和最小化FLOPs（作为推理延迟的代理指标）。
• 采用改进的OMOPSO算法演化CNN配置群体，保持多样性并收敛至Pareto前沿。
• 通过多台机器上的多个GPU实现分布式计算基础设施，并开发自定义Python库以管理个体的并发训练与评估。
• 进化过程采用Adam优化器在完整数据集上进行完整训练，尽管计算成本较高，但仍确保了可靠的适应度评估。
• 在CIFAR-10上评估该框架，采用标准数据增强和训练协议，以确保与基线模型（如DenseNet-121）的公平比较。

实验结果

研究问题

• RQ1 多目标粒子群优化能否有效演化出在高分类准确率与低计算成本之间实现平衡的深度CNN？
• RQ2 所提出的编码策略在多大程度上实现了对基于DenseNet架构的超参数空间的高效探索？
• RQ3 分布式GPU基础设施在多大程度上能缩短进化CNN搜索的运行时间，同时保持解的质量？
• RQ4 在定义的搜索空间内，所演化出的CNN架构是否在准确率和FLOPs方面均优于标准模型（如DenseNet-121）？
• RQ5 该方法能否生成一组多样化的非支配解，形成清晰的Pareto前沿，以支持工业部署？

主要发现

• 所提出的MOCNN框架成功生成了清晰的非支配CNN解的Pareto前沿，展示了准确率与FLOPs之间的良好平衡。
• 优化后的MOCNN在CIFAR-10上的测试准确率达到95.51%，优于同一搜索空间内的DenseNet-121（94.77%）。
• 具有50个个体的群体相比20个个体的运行，尽管收敛更慢，但覆盖了更广的Pareto前沿。
• 分布式GPU基础设施将总运行时间从单GPU的约3周缩短至约3天（使用8–10个GPU），实现了近线性加速。
• 该方法表明，即使在计算资源受限的情况下，进化搜索仍能生成与手工设计架构（如DenseNet-121）相当或更优的模型。