[論文レビュー] Efficient Progressive Neural Architecture Search

Juan-Manuel Pérez-Rúa, Moez Baccouche+1 more|arXiv (Cornell University)|Aug 1, 2018

Advanced Neural Network Applications被引用数 13

ひとこと要約

この論文では、順次モデルベース最適化（SMBO）と重み共有を組み合わせることで、ニューラルアーキテクチャ探索を高速化する効率的なプログレッシブニューラルアーキテクチャ探索（EPNAS）を提案する。グリーディ選択に代えて、サーヴェイモデルに従う確率的サンプリングを採用することで、EPNASは、計算リソースのわずかな割合で、NASNetに比べて最大900倍速く、CIFAR-10で最先端の性能を達成する。

ABSTRACT

This paper addresses the difficult problem of finding an optimal neural architecture design for a given image classification task. We propose a method that aggregates two main results of the previous state-of-the-art in neural architecture search. These are, appealing to the strong sampling efficiency of a search scheme based on sequential model-based optimization (SMBO), and increasing training efficiency by sharing weights among sampled architectures. Sequential search has previously demonstrated its capabilities to find state-of-the-art neural architectures for image classification. However, its computational cost remains high, even unreachable under modest computational settings. Affording SMBO with weight-sharing alleviates this problem. On the other hand, progressive search with SMBO is inherently greedy, as it leverages a learned surrogate function to predict the validation error of neural architectures. This prediction is directly used to rank the sampled neural architectures. We propose to attenuate the greediness of the original SMBO method by relaxing the role of the surrogate function so it predicts architecture sampling probability instead. We demonstrate with experiments on the CIFAR-10 dataset that our method, denominated Efficient progressive neural architecture search (EPNAS), leads to increased search efficiency, while retaining competitiveness of found architectures.

研究の動機と目的

• 画像分類におけるニューラルアーキテクチャ探索（NAS）の高い計算コストに対処すること。
• 重み共有をプログレッシブなSMBOベースの探索に統合することで、探索効率を向上させること。
• 決定的ランク付けの代わりにサーヴェイ予測に基づく確率的サンプリングを採用することで、SMBOのグリーディネスを軽減すること。
• 1台または少数のGPUといった限られたハードウェアでも、効果的なNASを可能にすること。
• 重み共有がプログレッシブで反復的な探索戦略と互換性を持つことを示すこと。

提案手法

• EPNASは、検証誤差を予測するサーヴェイモデルに基づいて、候補アーキテクチャを段階的に改善する順次モデルベース最適化（SMBO）を用いる。
• 探索中に候補アーキテクチャ間で重み共有を導入することで、各アーキテクチャを再び訓練する必要がなくなり、トレーニング時間が著しく短縮される。
• 上位K個のアーキテクチャをグリーディに選択するのではなく、EPNASはサーヴェイモデルを用いてサンプリング確率を予測し、探索空間の確率的かつ多様な探索を可能にする。
• 複数の探索イテレーションを実行し、段階的にサーヴェイモデルを改善することで、時間の経過とともにアーキテクチャの品質が向上する。
• 温度パラメータを用いてサンプリングを制御し、初期は高い値（探索）に設定し、徐々に低下（活用）させることで、実行間での性能のばらつきを低減する。
• 探索空間はマクロ（ネットワークの深さ、幅）とマイクロ（セルアーキテクチャ）の両レベルで定義され、公平な比較のための固定ハイパーパrameterが設定されている。

実験結果

リサーチクエスチョン

• RQ1 重み共有は、プログレッシブなSMBOベースのNASフレームワークに効果的に統合可能か？
• RQ2 グリーディ選択を確率的サンプリングに置き換えることで、探索効率とアーキテクチャ品質が向上するか？
• RQ3 探索イテレーションの数が、得られたアーキテクチャの性能と安定性に与える影響は何か？
• RQ4 EPNASは、最先端の手法に比べてはるかに少ないGPU日数でCIFAR-10で競争力のある性能を達成できるか？
• RQ5 提案手法は、限られたハードウェア構成でもスケーラブルで効果的か？

主な発見

• EPNASはCIFAR-10で競争力のある性能を達成し、最良のマクロアーキテクチャではテスト誤差が3.03%にまで低下し、最先端水準に近い。
• NASNetに比べて約900倍速く、探索コストを約100 GPU日から0.2 GPU日未満にまで削減した。
• 1回の探索イテレーションではなく3回にすることで、バリデーション精度が約8%向上したが、モデルあたりのトレーニング時間が長くなったにもかかわらず。
• より多くのイテレーションを経ることで、複数の並列実行間での性能ばらつきが減少し、収束性と安定性の向上が示された。
• 最良のマクロアーキテクチャは一般化性能に優れており、NASNetとほぼ同等の精度を達成しているが、探索の際にははるかに効率的である。
• 重み共有により、アーキテクチャ品質を損なうことなく効率的な探索が可能となり、プログレッシブな探索フレームワークにおける実用性が裏付けられた。