[論文レビュー] Neural Predictor for Neural Architecture Search

Wei Wen, Hanxiao Liu+4 more|arXiv (Cornell University)|Dec 2, 2019

Machine Learning in Materials Science参考文献 27被引用数 19

ひとこと要約

本論文は、N個のランダムにサンプルされたアーキテクチャ上で訓練された回帰モデルを用いて検証精度を予測する、シンプルだが非常に高いサンプル効率を示すニューラルアーキテクチャ探索（NAS）のためのニューラル予測器を提案する。NASBench-101では正則化された進化（Regularized Evolution）よりも22.83倍高いサンプル効率を達成し、計算コストを最小限に抑えながらImageNetでもProxylessNASと同等の性能を発揮する。本手法は重み共有を用いず、ランダムサーチと教師あり学習のみに依存する。

ABSTRACT

Neural Architecture Search methods are effective but often use complex algorithms to come up with the best architecture. We propose an approach with three basic steps that is conceptually much simpler. First we train N random architectures to generate N (architecture, validation accuracy) pairs and use them to train a regression model that predicts accuracy based on the architecture. Next, we use this regression model to predict the validation accuracies of a large number of random architectures. Finally, we train the top-K predicted architectures and deploy the model with the best validation result. While this approach seems simple, it is more than 20 times as sample efficient as Regularized Evolution on the NASBench-101 benchmark and can compete on ImageNet with more complex approaches based on weight sharing, such as ProxylessNAS.

研究の動機と目的

• 強化学習や重み共有に依存する複雑なNAS手法の代替として、よりシンプルでサンプル効率の高い手法を開発すること。
• ベンチマークデータセット上で高い精度を維持しつつ、アーキテクチャ探索の計算負荷を低減すること。
• 軽量な回帰ベースの予測器を活用することで、計算リソースが限られた実務家が効果的にNASを実行できるようにすること。
• 未学習のアーキテクチャや多様な探索空間（特にモバイル向けモデルを含む）に対しても一般化できるかを示すこと。

提案手法

• N個のランダムなアーキテクチャを訓練し、(アーキテクチャ, 検証精度)ペアを教師あり学習用の訓練データセットとして収集する。
• グラフに基づくニューラルネットワーク（双方向GCNを用いた）回帰モデルを訓練し、アーキテクチャ表現から検証精度を予測する。
• 訓練済みの予測器を用いて、多数のランダムなアーキテクチャを評価・順位付けし、上位K個を選択する。
• 選択された上位K個のアーキテクチャを標準的な訓練手順に従って訓練・検証し、最も性能の良いモデルを選別する。
• 特にモバイル探索空間において、精度と推論遅延のバランスをとるため、ソフト・パレート最適性基準を適用する。
• ワンホットエンコーディングされたアーキテクチャ表現とグラフ畳み込みネットワークを用い、アーキテクチャの構造を学習可能な特徴に変換する。

実験結果

リサーチクエスチョン

• RQ1 少数のランダムにサンプルされたアーキテクチャ上で訓練されたシンプルな回帰モデルが、複雑なNAS手法よりもサンプル効率で優れているか。
• RQ2 トレーニング分布外のアーキテクチャ、特にトレーニング中に見られなかった高精度のアーキテクチャに対しても、ニューラル予測器はどれほど一般化できるか。
• RQ3 重み共有を用いないシンプルなアプローチを採用しながら、ImageNetにおいてProxylessNASと同等の性能を達成できるか。
• RQ4 モバイルデプロイメントのための特定の遅延制約（例：75–85 ms）を満たすモデルを効果的に探索できるか。また、各ターゲットに対して再トレーニングを要する手法と比較して、その有効性はいかが。
• RQ5 固定された計算予算下で、N（訓練セットサイズ）とK（最終検証セットサイズ）のトレードオフはどのようなものか。

主な発見

• NASBench-101ベンチマークにおいて、ニューラル予測器は正則化された進化よりも22.83倍高いサンプル効率を示し、必要なトレーニング実行回数を顕著に削減した。
• ProxylessNASの探索空間において、ニューラル予測器はProxylessNASと同等の精度を発揮するモデルを生成し、ランダムサーチよりも顕著に優れた性能を示した。
• 予測器は良好に一般化した：トレーニング中に一度も見られなかった5つのアーキテクチャ（精度76%以上）を正しく予測した。
• 予測精度と真の精度のケンダール順位相関係数は0.956に達し、R²スコアは0.929であった。これは強力な予測性能を示している。
• モバイル推論時間（75–85 ms）をターゲットとした場合、137の有望なモデルを同定した。最終的な検証では、未学習データに対してランダムサーチと比較して安定した性能差を示した。
• 本手法は並列処理に非常に適しており、完全並列化下では1回のProxylessNAS探索の半分の時間で完了可能である。計算総量はやや高いが、実用的でははるかに効率的である。