[论文解读] DVOLVER: Efficient Pareto-Optimal Neural Network Architecture Search

Michel Guillaume, Mohammed Amine Alaoui+3 more|arXiv (Cornell University)|Feb 5, 2019

Advanced Neural Network Applications参考文献 17被引用 11

一句话总结

DVOLVER 提出了一种基于种群的进化算法，用于实现帕累托最优的神经架构搜索，同时优化移动设备上的准确率和 FLOPS。该方法实现了最先进的权衡，在 FLOPS 减少 8% 的情况下，模型在 ImageNet 上的 Top-1 准确率达到 75.28%，比 MobileNetV2 提高 0.28%。

ABSTRACT

Automatic search of neural network architectures is a standing research topic. In addition to the fact that it presents a faster alternative to hand-designed architectures, it can improve their efficiency and for instance generate Convolutional Neural Networks (CNN) adapted for mobile devices. In this paper, we present a multi-objective neural architecture search method to find a family of CNN models with the best accuracy and computational resources tradeoffs, in a search space inspired by the state-of-the-art findings in neural search. Our work, called Dvolver, evolves a population of architectures and iteratively improves an approximation of the optimal Pareto front. Applying Dvolver on the model accuracy and on the number of floating points operations as objective functions, we are able to find, in only 2.5 days, a set of competitive mobile models on ImageNet. Amongst these models one architecture has the same Top-1 accuracy on ImageNet as NASNet-A mobile with 8% less floating point operations and another one has a Top-1 accuracy of 75.28% on ImageNet exceeding by 0.28% the best MobileNetV2 model for the same computational resources.

研究动机与目标

• 通过同时优化准确率和计算效率，解决为移动设备设计高效神经架构的挑战。
• 克服单目标 NAS 方法优先考虑准确率而牺牲推理速度或 FLOPS 的局限性。
• 开发一种可扩展的多目标搜索框架，能够在不损失性能的前提下高效探索大规模搜索空间。
• 在 ImageNet 上使用代理数据集（CIFAR-10）进行验证，同时保持向大规模任务的可迁移性。
• 相比先前的最先进方法，降低架构搜索的计算成本，更快地实现完整的帕累托前沿近似。

提出的方法

• 基于 NSGA-II 的多目标进化算法，通过多代演化生成神经架构种群。
• 采用受 NASNet 启发的搜索空间，包含可重用的单元结构以及用于深度、宽度和激活函数的超参数。
• 优化两个目标：在 CIFAR-10 上的验证准确率和推理过程中的总 FLOPS（浮点运算次数）。
• 在 CIFAR-10 上训练过程中应用早停策略，假设早期性能排序与最终准确率相关，从而加速搜索过程。
• 保持架构种群的多样性，包括高准确率和低 FLOPS 的模型，以提升向帕累托前沿收敛的能力。
• 在 CIFAR-10 上使用代理评估，避免在搜索过程中对 ImageNet 进行完整训练，从而降低计算成本，同时实现向 ImageNet 的有效迁移。

实验结果

研究问题

• RQ1 多目标进化算法能否高效发现平衡准确率与 FLOPS 的神经架构帕累托最优前沿？
• RQ2 在早期评估中使用代理数据集（CIFAR-10）是否能保留架构在迁移到 ImageNet 时的排序？
• RQ3 该方法能否在准确率-FLOPS 权衡方面超越现有的移动架构（如 NASNet-A 和 MobileNetV2）？
• RQ4 与 PNAS 或 NASNet 等单目标 NAS 方法相比，基于种群的方法在效率和性能上表现如何？
• RQ5 种群中多样化个体之间的相互作用在多大程度上提升了搜索效率和收敛性？

主要发现

• DVOLVER 发现的模型在 ImageNet 上 Top-1 准确率达到 75.28%，比最佳的 MobileNetV2 配置高出 0.28%，且在相同 FLOPS 下表现更优。
• 某一架构在与 NASNet-A mobile 相同的 Top-1 准确率下，FLOPS 减少了 8%，证明了其更高的效率。
• 该方法在 50 GPU 天内完成完整的帕累托前沿近似，比在更大搜索空间（$10^{20}$ vs. $10^{12}$）下运行的 PNAS 快了三倍。
• 基于种群的进化方法在优化速度的同时，实现了对搜索空间的高效探索，且未牺牲准确率。
• 该方法在准确率-FLOPS 权衡方面优于 NASNet 和 MobileNetV2，尤其在计算资源有限的低端设备上表现更优。
• 在 CIFAR-10 上使用早停策略能够较好地保留性能排序，从而支持有效搜索，尽管在选择过程中仍存在一定方差风险。