[論文レビュー] Breaking the Curse of Space Explosion: Towards Efficient NAS with Curriculum Search

Yong Guo, Yaofo Chen+5 more|arXiv (Cornell University)|Jul 7, 2020

Advanced Neural Network Applications被引用数 36

ひとこと要約

本論文は Curriculum Neural Architecture Search (CNAS) を提案し、NASの探索空間を段階的に拡大し、カリキュラム学習とオペレーションのウォームアップ戦略を用いてサンプリング効率とアーキテクチャ品質を向上させ、CIFAR-10およびImageNetで検索コストを抑えつつ優れた結果を達成する。

ABSTRACT

Neural architecture search (NAS) has become an important approach to automatically find effective architectures. To cover all possible good architectures, we need to search in an extremely large search space with billions of candidate architectures. More critically, given a large search space, we may face a very challenging issue of space explosion. However, due to the limitation of computational resources, we can only sample a very small proportion of the architectures, which provides insufficient information for the training. As a result, existing methods may often produce suboptimal architectures. To alleviate this issue, we propose a curriculum search method that starts from a small search space and gradually incorporates the learned knowledge to guide the search in a large space. With the proposed search strategy, our Curriculum Neural Architecture Search (CNAS) method significantly improves the search efficiency and finds better architectures than existing NAS methods. Extensive experiments on CIFAR-10 and ImageNet demonstrate the effectiveness of the proposed method.

研究の動機と目的

• 非常に大きな探索空間によるNASの空間爆発問題に対処する。
• 空間サイズが増大するNAS問題の連続を解くカリキュラム探索戦略を提案する。
• より単純な探索空間からより複雑な探索空間へ知識を保持・転移し、サンプリング精度を向上させる。
• 新しいオペレーションを導入する際の訓練不安定性を、オペレーションウォームアップ方式で緩和する。

提案手法

• DAGベースのセル空間からアーキテクチャをサンプルするコントローラを用いた強化学習問題としてNASを表現する。
• ノード数を増やすのではなく候補オペレーションを追加することによって、探索空間の連続的な成長を定義し、空間の成長を滑らかにする。
• 重み共有を用いたスーパーネットワークを訓練してアーキテクチャ報酬を効率的に推定する。
• 探索を促すエントロピー項を用いて、段階的にアーキテクチャを最適化するカリキュラム訓練アルゴリズムを導入する。
• 新しいオペレーションを固定されたコントローラの下で訓練して、公正な比較と安定した学習を確保するオペレーションウォームアップを適用する。
• 最終段階ポリシーから複数の候補をサンプリングして検証データで最良を選択することで最終アーキテクチャを推定する。

実験結果

リサーチクエスチョン

• RQ1 カリキュラム学習は、進行的に難しくなるNAS問題の連続を解くことでNASの空間爆発を緩和できるだろうか？
• RQ2 ノードを増やすのではなく、徐々にオペレーションを追加することは、探索空間の成長を滑らかにし、より良い最終アーキテクチャを生み出すだろうか？
• RQ3 新しいオペレーションが導入される際にオペレーションウォームアップ戦略は訓練を安定化させるだろうか？
• RQ4 CNASはCIFAR-10およびImageNetで最先端のNAS手法と比較してどのように性能を示すか？

主な発見

• CNASはCIFAR-10の実験で固定サイズのNASベースラインおよびCNAS-Nodeを継続的に上回る。
• カリキュラム手法は、小さな探索空間から大きな探索空間へ転移可能な知識を学習させ、最終アーキテクチャの品質を向上させる。
• オペレーションウォームアップは訓練を著しく安定化させ、探索性能を向上させる。
• CNASアーキテクチャは、他のいくつかのNAS手法と比較して競争力のあるまたは優れた精度を、著しく低い探索コストで達成する。
• 最終的なCIFAR-10アーキテクチャをImageNetへ転移した場合、モバイル設定で高い性能を示す。
• CNASのコードは公開されている。
• 実験は、複数のベンチマークと最先端モデルとの比較においてCNASの優位性を示している。