[论文解读] Efficient Progressive Neural Architecture Search

Juan-Manuel Pérez-Rúa, Moez Baccouche+1 more|arXiv (Cornell University)|Aug 1, 2018

Advanced Neural Network Applications被引用 13

一句话总结

该论文提出了一种高效的渐进式神经架构搜索（EPNAS）方法，结合了序列模型基于优化（SMBO）与权重重用技术，以加速神经架构搜索。通过用基于代理模型的随机采样替代贪婪选择，EPNAS 在 CIFAR-10 上实现了最先进的性能，相比 NASNet 搜索速度提升高达 900 倍，同时仅使用极小部分的计算资源，且保持了具有竞争力的准确率。

ABSTRACT

This paper addresses the difficult problem of finding an optimal neural architecture design for a given image classification task. We propose a method that aggregates two main results of the previous state-of-the-art in neural architecture search. These are, appealing to the strong sampling efficiency of a search scheme based on sequential model-based optimization (SMBO), and increasing training efficiency by sharing weights among sampled architectures. Sequential search has previously demonstrated its capabilities to find state-of-the-art neural architectures for image classification. However, its computational cost remains high, even unreachable under modest computational settings. Affording SMBO with weight-sharing alleviates this problem. On the other hand, progressive search with SMBO is inherently greedy, as it leverages a learned surrogate function to predict the validation error of neural architectures. This prediction is directly used to rank the sampled neural architectures. We propose to attenuate the greediness of the original SMBO method by relaxing the role of the surrogate function so it predicts architecture sampling probability instead. We demonstrate with experiments on the CIFAR-10 dataset that our method, denominated Efficient progressive neural architecture search (EPNAS), leads to increased search efficiency, while retaining competitiveness of found architectures.

研究动机与目标

• 解决图像分类中神经架构搜索（NAS）的高计算成本问题。
• 通过将权重重用整合到渐进式 SMBO 搜索中，提升搜索效率。
• 通过用基于代理预测的随机采样替代确定性排序，降低 SMBO 的贪婪性。
• 实现在单张或少数 GPU 等中等硬件条件下的有效 NAS。
• 证明权重重用与渐进式、迭代式搜索策略兼容。

提出的方法

• EPNAS 使用序列模型基于优化（SMBO）方法，基于代理模型预测的验证误差，迭代优化候选架构。
• 在搜索过程中，为候选架构引入权重重用，避免从头训练每个架构，从而大幅减少训练时间。
• 不同于贪婪地选择前 K 个架构，EPNAS 利用代理模型预测采样概率，实现基于随机采样的多样化搜索空间探索。
• 该方法执行多次搜索迭代，逐步优化代理模型，并随时间推移不断提升架构质量。
• 采样过程由一个温度参数控制，初始值较高（侧重探索），随后降低（侧重利用），从而减少不同运行间性能的方差。
• 搜索空间在宏观（网络深度、宽度）和微观（单元架构）两个层面进行定义，且固定超参数以保证公平比较。

实验结果

研究问题

• RQ1 权重重用能否有效集成到渐进式 SMBO 基础的 NAS 框架中，以降低计算成本？
• RQ2 用随机采样替代贪婪选择是否能提升搜索效率和架构质量？
• RQ3 搜索迭代次数如何影响所找到架构的性能与稳定性？
• RQ4 EPNAS 是否能在显著少于当前 SOTA 方法的 GPU 天数下，实现在 CIFAR-10 上具有竞争力的性能？
• RQ5 所提出的方法在中等硬件配置下是否具备可扩展性与有效性？

主要发现

• EPNAS 在 CIFAR-10 上实现了具有竞争力的性能，最佳宏观架构的测试误差达到 3.03%，接近当前 SOTA 水平。
• 该方法相比 NASNet 快约 900 倍，将搜索成本从约 100 GPU 天降低至 0.2 GPU 天以下。
• 使用三次搜索迭代而非一次，即使每模型训练时间更长，验证准确率仍提升了约 8%。
• 随着迭代次数增加，多次并行运行间的性能方差减小，表明收敛性与稳定性得到提升。
• 所找到的最佳宏观架构泛化能力良好，准确率接近 NASNet，但搜索效率显著更高。
• 权重重用实现了高效探索而不损失架构质量，证明其在渐进式搜索框架中的可行性。