[论文解读] Multi-Criterion Evolutionary Design of Deep Convolutional Neural Networks.

Zhichao Lu, Ian Whalen+5 more|arXiv (Cornell University)|Dec 3, 2019

Advanced Neural Network Applications参考文献 47被引用 18

一句话总结

本文提出一种多准则进化算法，用于在有限计算预算下同时优化分类准确率与FLOPs，以设计深度卷积神经网络。通过结合Pareto最优架构搜索与贝叶斯学习，复用成功模式并缩小架构规模，该方法生成了高效且高性能的模型，在CIFAR、ImageNet和胸部X光数据集上均优于人工设计与自动设计的模型。

ABSTRACT

Convolutional neural networks (CNNs) are the backbones of deep learning paradigms for numerous vision tasks. Early advancements in CNN architectures are primarily driven by human expertise and elaborate design. Recently, neural architecture search was proposed with the aim of automating the network design process and generating task-dependent architectures. While existing approaches have achieved competitive performance in image classification, they are not well suited under limited computational budget for two reasons: (1) the obtained architectures are either solely optimized for classification performance or only for one targeted resource requirement; (2) the search process requires vast computational resources in most approaches. To overcome this limitation, we propose an evolutionary algorithm for searching neural architectures under multiple objectives, such as classification performance and FLOPs. The proposed method addresses the first shortcoming by populating a set of architectures to approximate the entire Pareto frontier through genetic operations that recombine and modify architectural components progressively. Our approach improves the computation efficiency by carefully down-scaling the architectures during the search as well as reinforcing the patterns commonly shared among the past successful architectures through Bayesian Learning. The integration of these two main contributions allows an efficient design of architectures that are competitive and in many cases outperform both manually and automatically designed architectures on benchmark image classification datasets, CIFAR, ImageNet and human chest X-ray. The flexibility provided from simultaneously obtaining multiple architecture choices for different compute requirements further differentiates our approach from other methods in the literature.

研究动机与目标

• 解决现有神经架构搜索方法仅优化准确率或单一资源约束的局限性，而非同时优化两者。
• 通过在搜索过程中缩小架构规模，降低架构搜索的高计算成本。
• 通过利用贝叶斯学习强化先前成功架构中的模式，提升搜索效率。
• 生成一组多样化的Pareto最优架构，以满足不同的计算预算需求。
• 实现与手工设计或现有自动架构相媲美甚至更优的CNN自动化设计。

提出的方法

• 采用在架构组件上执行遗传操作（如交叉和变异）的进化算法，以探索和演化候选架构。
• 维护一个架构种群，以近似分类准确率与FLOPs之间的整个Pareto前沿，从而实现多目标优化。
• 通过在进化过程中减少候选网络的深度和宽度，缩小搜索空间，以限制计算成本。
• 应用贝叶斯学习识别并强化先前成功架构中观察到的共性架构模式，加速收敛。
• 使用兼顾准确率与FLOPs的多目标适应度函数，指导各代架构的选择。
• 整合渐进式架构修改与重组，以探索多样化、高效且准确的架构。

实验结果

研究问题

• RQ1 进化算法能否在有限计算预算下有效搜索出在高分类准确率与低FLOPs之间取得平衡的CNN架构？
• RQ2 在搜索过程中缩小架构空间对最终模型的效率与质量有何影响？
• RQ3 对共享架构模式的贝叶斯学习能在多大程度上提升搜索效率与性能？
• RQ4 所提方法能否生成一组适合不同计算约束的多样化Pareto最优架构？
• RQ5 所生成架构的性能与人工设计及现有自动搜索模型相比如何？

主要发现

• 所提方法生成了一组Pareto最优架构，可在准确率与FLOPs之间提供权衡，支持根据特定计算约束进行选择。
• 由于架构缩小与贝叶斯学习带来的模式复用，搜索过程相比现有NAS方法显著提升了计算效率。
• 该方法在CIFAR-10、CIFAR-100、ImageNet以及人类胸部X光分类基准上，生成的模型均优于人工设计与现有自动搜索架构。
• 结合多目标优化的进化搜索能够发现性能优异的架构，且不限于单一性能或资源配置。
• 对成功架构模式的贝叶斯学习减少了对穷举搜索的依赖，并加速了高质量解的收敛。
• 该方法在多样化视觉任务中表现出强大的泛化能力，涵盖图像分类与医学影像任务。