[论文解读] Multi-objective Architecture Search for CNNs.

Thomas Elsken, Jan Hendrik Metzen+1 more|arXiv (Cornell University)|Apr 24, 2018

Advanced Neural Network Applications参考文献 28被引用 25

一句话总结

本文提出NASH与Pareto-NASH，用于在卷积神经网络（CNNs）中实现高效、多目标神经架构搜索。NASH通过网络形态变换与激进的学习率调度降低训练成本，在3天内于CIFAR10上实现<4%的误差。Pareto-NASH实现单次运行下对准确率与参数量之间帕累托最优架构的发现，在56 GPU天内找到误差为3.5%、参数量为400万的模型，或误差为4.6%、参数量<100万的模型。

ABSTRACT

Architecture search aims at automatically finding neural architectures that are competitive with architectures designed by human experts. While recent approaches have come close to matching the predictive performance of manually designed architectures for image recognition, these approaches are problematic under constrained resources for two reasons: first, the architecture search itself requires vast computational resources for most proposed methods. Secondly, the found neural architectures are solely optimized for high predictive performance without penalizing excessive resource consumption. We address the first shortcoming by proposing NASH, an architecture search which considerable reduces the computational resources required for training novel architectures by applying network morphisms and aggressive learning rate schedules. On CIFAR10, NASH finds architectures with errors below 4% in only 3 days. We address the second shortcoming by proposing Pareto-NASH, a method for multi-objective architecture search that allows approximating the Pareto-front of architectures under multiple objective, such as predictive performance and number of parameters, in a single run of the method. Within 56 GPU days of architecture search, Pareto-NASH finds a model with 4M parameters and test error of 3.5%, as well as a model with less than 1M parameters and test error of 4.6%.

研究动机与目标

• 降低卷积神经网络（CNNs）神经架构搜索的高计算成本。
• 通过同时优化准确率与模型大小，解决NAS中缺乏效率意识的问题。
• 实现在预测性能与参数量之间平衡的架构的同步发现。
• 开发一种在资源受限条件下可高效扩展的方法。

提出的方法

• NASH利用网络形态变换，从父网络高效生成并训练新架构。
• 采用激进的学习率调度策略，加速架构搜索过程中的收敛。
• Pareto-NASH通过在准确率与参数量之间保持多样化的架构集合，将NASH扩展至多目标优化。
• 通过单次搜索运行近似性能与模型大小之间权衡的帕累托前沿。
• 基于可微搜索策略，依据多个目标对架构进行评估与更新。
• 通过基于形态变换的参数共享，复用特征与梯度，实现搜索效率提升。

实验结果

研究问题

• RQ1 是否能在不牺牲性能的前提下，显著提升架构搜索的效率？
• RQ2 单次搜索运行能否识别出代表准确率与模型大小之间权衡的多样化架构？
• RQ3 在保持NAS中具有竞争力的准确率前提下，计算成本可降低多少？
• RQ4 激进的学习率调度是否能提升架构搜索中的收敛速度？
• RQ5 采用多目标NAS方法时，模型准确率与参数量之间的可实现权衡是什么？

主要发现

• NASH仅用3天训练时间即在CIFAR10上实现低于4%的测试误差，显著缩短了搜索时间。
• Pareto-NASH在56 GPU天内发现了一个参数量为400万、测试误差为3.5%的模型。
• 通过Pareto-NASH还找到了一个参数量少于100万、测试误差为4.6%的更小模型。
• 与先前的NAS方法相比，该方法在显著降低计算成本的同时实现了具有竞争力的性能。
• 帕累托前沿近似包含了多个高性能、高效率的架构，证明了有效权衡发现能力。
• 网络形态变换与激进学习率调度的结合，实现了更快的收敛速度与更低的资源消耗。