[论文解读] Multi-Objective Evolutionary Design of Deep Convolutional Neural Networks for Image Classification

Zhichao Lu, Ian Whalen+5 more|arXiv (Cornell University)|Dec 3, 2019

Machine Learning and Data Classification参考文献 85被引用 16

一句话总结

该论文提出 NSGANetV1，一种多目标进化算法，可联合优化深度卷积神经网络（CNN）架构在图像分类任务中的准确率与计算效率（FLOPs）。通过结合定制化的遗传操作与基于贝叶斯网络的分布估计算法以加速搜索，该方法高效探索帕累托前沿，并生成紧凑且高性能的模型，在 CIFAR、ImageNet 和 ChestX-Ray14 数据集上均优于人工设计及现有 NAS 方法。

ABSTRACT

Early advancements in convolutional neural networks (CNNs) architectures are primarily driven by human expertise and by elaborate design processes. Recently, neural architecture search was proposed with the aim of automating the network design process and generating task-dependent architectures. While existing approaches have achieved competitive performance in image classification, they are not well suited to problems where the computational budget is limited for two reasons: (1) the obtained architectures are either solely optimized for classification performance, or only for one deployment scenario; (2) the search process requires vast computational resources in most approaches. To overcome these limitations, we propose an evolutionary algorithm for searching neural architectures under multiple objectives, such as classification performance and floating-point operations (FLOPs). The proposed method addresses the first shortcoming by populating a set of architectures to approximate the entire Pareto frontier through genetic operations that recombine and modify architectural components progressively. Our approach improves computational efficiency by carefully down-scaling the architectures during the search as well as reinforcing the patterns commonly shared among past successful architectures through Bayesian model learning. The integration of these two main contributions allows an efficient design of architectures that are competitive and in most cases outperform both manually and automatically designed architectures on benchmark image classification datasets: CIFAR, ImageNet, and human chest X-ray. The flexibility provided from simultaneously obtaining multiple architecture choices for different compute requirements further differentiates our approach from other methods in the literature. Code is available at https://github.com/mikelzc1990/nsganetv1

研究动机与目标

• 解决现有神经架构搜索（NAS）方法仅优化准确率或需要过多计算资源的局限性。
• 实现在资源受限环境中平衡高分类性能与低 FLOPs 的高效多目标 CNN 架构搜索。
• 开发一种可扩展的进化方法，同时发现适用于不同计算预算的多样化帕累托最优架构。
• 通过在搜索阶段下采样网络深度与宽度，并利用贝叶斯网络建模过往成功架构中的共享模式，提升搜索效率。
• 在 CIFAR、ImageNet 和 ChestX-Ray14 等基准数据集上验证该方法，证明其泛化能力与迁移学习潜力。

提出的方法

• NSGANetV1 采用多目标进化算法，通过架构组件的重组与变异等遗传操作演化 CNN 架构群体。
• 通过同时优化 Top-1 准确率与浮点运算量（FLOPs），在帕累托前沿上保持架构多样性。
• 为提升搜索效率，该方法在搜索阶段降低网络深度与宽度，减少计算成本，同时保留性能趋势。
• 采用基于贝叶斯网络的分布估计算子，建模并强化以往成功架构中观察到的共性架构模式，加速收敛。
• 搜索过程由一个评估每个架构在准确率与 FLOPs 上表现的适应度函数引导，实现对最优权衡模型的发现。
• 搜索完成后，将表现最佳的架构在目标数据集上从头开始训练，以确保与现有方法的公平比较。

实验结果

研究问题

• RQ1 多目标进化算法能否有效探索 CNN 架构搜索中分类准确率与 FLOPs 之间的权衡？
• RQ2 基于贝叶斯网络的模式建模如何在不损失性能的前提下提升 NAS 中的搜索效率？
• RQ3 所提方法能否生成在多样化图像分类基准上优于人工设计与现有自动化 NAS 方法的架构？
• RQ4 在某一数据集（如 CIFAR-100）上进化出的架构在多大程度上可通过迁移学习泛化到其他任务（如胸部 X 光分类）？
• RQ5 在不同疾病分类任务中，生成的架构在参数效率与鲁棒性方面表现如何？

主要发现

• NSGANetV1-X 在 ChestX-Ray14 数据集上达到 84.6% 的测试 AUROC，较 Google AutoML 提升近 4 个百分点，且参数量仅为 CheXNet 的 1/3.2。
• NSGANetV1-A3 在 CIFAR-100 上进化，展现出强大的迁移学习能力，在 ChestX-Ray14 数据集上仅经少量微调即达到具有竞争力的性能。
• 在 CIFAR-10 上，NSGANetV1 实现 97.3% 的 Top-1 准确率，参数量仅 110 万，优于众多现有 NAS 与人工设计模型。
• 在 ImageNet 上，该方法以 180 万 FLOPs 实现 78.4% 的 Top-1 准确率，展现出在低计算约束下的强劲性能。
• NSGANetV1-X 的类别激活图显示出局部化、疾病特异性的注意力模式，证实了模型的可解释性与任务相关性。
• 基于贝叶斯网络的分布估计算法显著提升了搜索效率，使在更低计算成本下发现高质量架构成为可能。