[論文レビュー] Neural Architecture Search without Training

Joseph Mellor, Jack Turner+2 more|Edinburgh Research Explorer|Jun 8, 2020

Advanced Neural Network Applications参考文献 41被引用数 44

ひとこと要約

本論文は NASWOT を提案する。訓練なしのニューラルアーキテクチャ探索メソッドで、活性化パターンの重複度を用いて未訓練ネットワークをスコア付けし、超高速なアーキテクチャ探索と複数の NAS ベンチマークで競争力のある結果を実現する。

ABSTRACT

The time and effort involved in hand-designing deep neural networks is immense. This has prompted the development of Neural Architecture Search (NAS) techniques to automate this design. However, NAS algorithms tend to be slow and expensive; they need to train vast numbers of candidate networks to inform the search process. This could be alleviated if we could partially predict a network's trained accuracy from its initial state. In this work, we examine the overlap of activations between datapoints in untrained networks and motivate how this can give a measure which is usefully indicative of a network's trained performance. We incorporate this measure into a simple algorithm that allows us to search for powerful networks without any training in a matter of seconds on a single GPU, and verify its effectiveness on NAS-Bench-101, NAS-Bench-201, NATS-Bench, and Network Design Spaces. Our approach can be readily combined with more expensive search methods; we examine a simple adaptation of regularised evolutionary search. Code for reproducing our experiments is available at https://github.com/BayesWatch/nas-without-training.

研究の動機と目的

• 初期状態から最終性能を予測することで NAS における訓練負担を削減する動機づけ。
• 訓練なしのネットワークの活性化パターンに基づくスコアリング指標を開発する。
• 高速な NAS アルゴリズム（NASWOT）を実証し、既存の探索手法を補完することを示す。
• NAS-Bench-101、NAS-Bench-201、NATS-Bench など複数の NAS ベンチマークおよび Network Design Spaces（NDS）で手法を検証する。
• スコアリング指標をより費用のかかる探索戦略（例：正則化付き進化探索）へ組み込む可能性を探る。

提案手法

• 未訓練ネットワークの ReLU ユニットに対して、線形領域を識別する二値の活性化コードを定義する。
• 活性化コード間のハミング距離からカーネル行列 K_H を構築する。
• 訓練不要のスコア s = log|K_H| を定義し、対角寄りのカーネルがより高い予測精度を示すことを指標とする。
• Kendall の τ を用いて s と NAS 空間全体の最終トレーニング精度との経験的相関を取る。
• N 個のアーキテクチャをサンプリングして最上位のスコアを得たものを選択することで、単純な NASWOT 探索へ s を組み込む。
• AREA（Assisted Regularised EA）を示す：NASWOT のスコアを用いて Regularised EA の集団初期化を導く。

実験結果

リサーチクエスチョン

• RQ1 未訓練ネットワークの活性化パターンは最終的な訓練精度の信頼できる代理指標となるか？
• RQ2 データにも初期化にも影響されず、さまざまな NAS 空間で最終性能を予測する頑健なスコアリング指標は存在するか？
• RQ3 訓練不要の信号に依存する NAS 探索はどれくらい高速になるのか、訓練済みのベースラインと比較してどうか？
• RQ4 訓練不要のスコアを既存の NAS アルゴリズムへ組み込んで、精度を犠牲にせず効率を向上させられるか？
• RQ5 訓練不要アプローチは異なるデータセットやネットワーク設計空間（NAS-Bench-101、NAS-Bench-201、NATS-Bench、NDS）に一般化できるか？

主な発見

• 活性化コードに基づくカーネルから導出された単純なスコア s = log|K_H| は、NAS 空間全体で最終精度と正の相関を示す。
• NASWOT は単一 GPU で数秒で競争力のある最終精度（例：CIFAR-10）を達成し、いくつかのウェイト共有法を上回り、速度において非ウェイト共有ベースラインに近づく。
• アブレーション研究では、スコアはミニバッチの選択、入力データタイプ、初期化に対して頑健で、ミニバッチサイズの増減とともに適切にスケールする。
• スコアは訓練初期に上昇するが安定化し、ネットワークのランキングを保持するため、予測代理指標としての役割を支持する。
• AREA は NASWOT のスコアを種として進化的探索を導入し、NAS-Bench ベンチマークで標準の REA より効率を改善できることを示す。