[论文解读] Sample-Efficient Neural Architecture Search by Learning Action Space

Linnan Wang, Saining Xie+3 more|arXiv (Cornell University)|Jun 17, 2019

Machine Learning and Data Classification参考文献 66被引用 37

一句话总结

LaNAS 学习潜在动作以划分 NAS 搜索空间，从而实现一个蒙特卡罗树搜索，相较基线在样本效率上显著提升，并且在更少评估次数下达到最先进的准确率。

ABSTRACT

Neural Architecture Search (NAS) has emerged as a promising technique for automatic neural network design. However, existing MCTS based NAS approaches often utilize manually designed action space, which is not directly related to the performance metric to be optimized (e.g., accuracy), leading to sample-inefficient explorations of architectures. To improve the sample efficiency, this paper proposes Latent Action Neural Architecture Search (LaNAS), which learns actions to recursively partition the search space into good or bad regions that contain networks with similar performance metrics. During the search phase, as different action sequences lead to regions with different performance, the search efficiency can be significantly improved by biasing towards the good regions. On three NAS tasks, empirical results demonstrate that LaNAS is at least an order more sample efficient than baseline methods including evolutionary algorithms, Bayesian optimizations, and random search. When applied in practice, both one-shot and regular LaNAS consistently outperform existing results. Particularly, LaNAS achieves 99.0% accuracy on CIFAR-10 and 80.8% top1 accuracy at 600 MFLOPS on ImageNet in only 800 samples, significantly outperforming AmoebaNet with 33x fewer samples. Our code is publicly available at https://github.com/facebookresearch/LaMCTS.

研究动机与目标

• 激发在 NAS 中行动空间设计的重要性及其对搜索效率的影响。
• 提出一种学习潜在动作以将搜索空间划分为高表现和低表现区域的方法。
• 将学习到的动作与蒙特卡罗树搜索结合，以高效地采样架构。
• 在多样化的 NAS 基准测试上评估 LaNAS，并与基线搜索方法进行比较。

提出的方法

• 在每个节点用一个线性回归器来建模定义潜在动作的 NAS 搜索空间分区。
• 递归将空间划分为良好区域和差区，形成一个层次树。
• 使用带有 UCB 的蒙特卡罗树搜索在叶节点导航并从分区区域采样架构。
• 通过从头训练或通过带掩蔽的一次性超网来评估架构以估计性能。
• 可选地与一次性 NAS 超网集成，通过掩蔽将其转换为具体架构。

实验结果

研究问题

• RQ1 学习潜在动作以将 NAS 空间分区是否能够提升用于 MCTS 的搜索效率？
• RQ2 在不同的 NAS 基准测试中，LaNAS 相较于进化、贝叶斯、随机搜索和 MCTS 基线的表现如何？
• RQ3 树高、初始化样本和 UCB 超参数对搜索性能有何影响？
• RQ4 与一次性 NAS 的集成如何影响评估成本和最终性能？

主要发现

• LaNAS 在各类 NAS 任务中实现远高于基线方法的样本效率。
• 在 CIFAR-10 上，LaNAS 在 800 次样本下达到 99.0% 的准确率。
• 在 ImageNet（600 MFLOPS 移动设置）下，LaNAS 在 800 次样本下达到 80.8% 的 Top-1 准确率。
• LaNAS 需要大约 33 倍的更少样本即可达到具竞争力的性能，优于 AmoebaNet。
• LaNAS 在实践中持续优于基线并能扩展到大规模 GPU 资源的 NAS。