[论文解读] Breaking the Curse of Space Explosion: Towards Efficient NAS with Curriculum Search

Yong Guo, Yaofo Chen+5 more|arXiv (Cornell University)|Jul 7, 2020

Advanced Neural Network Applications被引用 36

一句话总结

本文提出 Curriculum Neural Architecture Search (CNAS)，通过逐步扩大 NAS 的搜索空间并使用课程学习和操作热启动策略来提高采样效率和架构质量，在 CIFAR-10 和 ImageNet 上取得更优的结果，同时降低搜索成本。

ABSTRACT

Neural architecture search (NAS) has become an important approach to automatically find effective architectures. To cover all possible good architectures, we need to search in an extremely large search space with billions of candidate architectures. More critically, given a large search space, we may face a very challenging issue of space explosion. However, due to the limitation of computational resources, we can only sample a very small proportion of the architectures, which provides insufficient information for the training. As a result, existing methods may often produce suboptimal architectures. To alleviate this issue, we propose a curriculum search method that starts from a small search space and gradually incorporates the learned knowledge to guide the search in a large space. With the proposed search strategy, our Curriculum Neural Architecture Search (CNAS) method significantly improves the search efficiency and finds better architectures than existing NAS methods. Extensive experiments on CIFAR-10 and ImageNet demonstrate the effectiveness of the proposed method.

研究动机与目标

• 解决由于极大搜索空间导致的 NAS 空间爆炸问题。
• 提出一种课程搜索策略，通过解决一系列具有递增规模的 NAS 问题来实现。
• 保留并将知识从简单的搜索空间迁移到更复杂的搜索空间，以改善采样精度。
• 通过一个操作热启动方案在引入新操作时缓解训练不稳定性。

提出的方法

• 将 NAS 表示为一个强化学习问题，控制器从基于 DAG 的单元空间中采样架构。
• 通过添加候选操作而非增加节点数来定义一个渐进增长的搜索空间，以确保空间增长更平滑。
• 训练一个具有权重共享的超网络，以高效估计架构奖励。
• 引入一个课程训练算法，对架构逐阶段进行优化，并加入熵项以促进探索。
• 在固定控制器下对新操作进行训练的操作热启动，以确保公平比较和稳定学习。
• 通过从最终阶段策略中抽样多个候选并在验证数据上选择最佳来推断最终架构。

实验结果

研究问题

• RQ1 课程学习是否能够通过解决一系列逐渐更难的 NAS 问题来缓解 NAS 的空间爆炸？
• RQ2 逐步添加操作（而非节点）是否能够带来更平滑的搜索空间增长和更好的最终架构？
• RQ3 操作热启动策略在引入新操作时是否能够稳定训练？
• RQ4 与多项最先进的 NAS 方法相比，CNAS 在 CIFAR-10 和 ImageNet 上的表现如何？

主要发现

• CNAS 在 CIFAR-10 的实验中持续优于固定尺寸的 NAS 基线和 CNAS-Node。
• 课程方法能够从小尺度学习可迁移的知识到大尺度，提升最终架构质量。
• 操作热启动显著稳定训练并提升搜索性能。
• CNAS 架构在搜索成本显著降低的同时达到具有竞争力或更优的准确率，相较于若干 NAS 方法。
• 最终在 CIFAR-10 架构转移到 ImageNet 时在移动场景下表现出色。
• CNAS 的代码公开可获得。
• 实验结果证明 CNAS 在多项基准和与最先进模型的对比中具有优越性。