[論文レビュー] Understanding and Accelerating Neural Architecture Search with Training-Free and Theory-Grounded Metrics

Wuyang Chen, Xinyu Gong+6 more|arXiv (Cornell University)|Aug 26, 2021

Advanced Neural Network Applications参考文献 75被引用数 7

ひとこと要約

本論文は、理論的根拠を持つ指標を用いて、ネットワーク性能を3つの解釈可能な要因—トレーニング性（Trainability）、表現力（Expressivity）、一般化性能（Generalization）—に分離する、トレーニング不要な統合的ニューラルアーキテクチャサーチ（NAS）フレームワーク、TEG-NASを提案する。REINFORCE、エボリューション、FP-NASなどの多様なNAS手法において、これらの指標を活用することで、56%以上の高速化を達成し、精度も向上した。特にFP-NASを用いた場合、ImageNetにおけるトップ-1精度で最先端水準を達成した。

ABSTRACT

This work targets designing a principled and unified training-free framework for Neural Architecture Search (NAS), with high performance, low cost, and in-depth interpretation. NAS has been explosively studied to automate the discovery of top-performer neural networks, but suffers from heavy resource consumption and often incurs search bias due to truncated training or approximations. Recent NAS works start to explore indicators that can predict a network's performance without training. However, they either leveraged limited properties of deep networks, or the benefits of their training-free indicators are not applied to more extensive search methods. By rigorous correlation analysis, we present a unified framework to understand and accelerate NAS, by disentangling "TEG" characteristics of searched networks - Trainability, Expressivity, Generalization - all assessed in a training-free manner. The TEG indicators could be scaled up and integrated with various NAS search methods, including both supernet and single-path approaches. Extensive studies validate the effective and efficient guidance from our TEG-NAS framework, leading to both improved search accuracy and over 56% reduction in search time cost. Moreover, we visualize search trajectories on three landscapes of "TEG" characteristics, observing that while a good local minimum is easier to find on NAS-Bench-201 given its simple topology, balancing "TEG" characteristics is much harder on the DARTS search space due to its complex landscape geometry. Our code is available at https://github.com/VITA-Group/TEGNAS.

研究の動機と目的

• トレーニングを途中で打ち切るか、プロキシ指標に依存する従来のNAS手法に内在する高い計算コストと探索バイアスを解消すること。
• さまざまなNASパラダイム（スアップネットやシングルパス手法を含む）に適用可能な、統合的かつ探索手法に依存しないトレーニング不要な性能予測フレームワークを構築すること。
• 多変数アーキテクチャランドスケープ上での探索軌跡の可視化を通じて、NASの探索プロセスのより深い解釈を可能にすること。
• 重み共有や早期停止によるインダクティブバイアスを回避し、勾配更新なしに効果的かつ効率的なNASを実現すること。
• 最終的なネットワーク精度と強く相関する、原則的かつ理論的根拠を持つNAS指標の基盤を確立すること。

提案手法

• トレーニング不要な3つの指標を導入：$\hat{\kappa}$（ニューラルタングェントカーネルによる測定）をトレーニング性、$\hat{R}$（線形領域の数による測定）を表現力、MSE（入力出力ヤコビアンの分散による測定）を一般化性能とする。
• これらの3つの指標を統合して、バックプロパゲーションやトレーニングを一切行わずにアーキテクチャをランク付けする、統合的NASフレームワークTEG-NASを構築する。
• REINFORCE、エボリューション、FP-NASなど、複数のNAS探索アルゴリズムにTEGフレームワークを適用し、その互換性とスケーラビリティを実証する。
• トレーニング性－表現力－一般化性能の3次元TEG空間における探索軌跡の可視化を通じて、ランドスケープの幾何構造と収束行動を分析する。
• アブレーションスタディと1エポックトレーニングベースラインとの比較を用いて、標準ベンチマーク（NAS-Bench-201、DARTS）上での指標のキャリブレーションと妥当性を検証する。
• 強化学習およびエボリューション探索における報酬信号として、従来の精度ベースの報酬に代わって指標を用いる。

実験結果

リサーチクエスチョン

• RQ1 トレーニング不要な指標として、ネットワークの基本的特性（トレーニング性、表現力、一般化性能）を捉えるものとして、完全にトレーニングなしにNASをガイドできるか？
• RQ2 1エポックまたは途中で打ち切ったトレーニングに依存する標準的なNAS手法と比較して、TEG指標の性能と効率性はどの程度優れているか？
• RQ3 スアップネットやシングルパス手法を含む、さまざまなNAS探索アルゴリズムに、TEGフレームワークはどの程度一般化可能か？
• RQ4 アーキテクチャ探索空間の幾何構造（例：NAS-Bench-201 と DARTS の比較）は、TEG指標によってガイドされた際の収束にどの程度影響を与えるか？
• RQ5 TEG空間上での探索軌跡の可視化は、複雑な探索空間におけるNASの挙動と課題を新たに解明する手がかりを提供できるか？

主な発見

• TEG-NASフレームワークは、ベースライン手法と比較して探索時間を56%以上短縮した。REINFORCE、エボリューション、FP-NASのすべてのトレーニング不要なバージョンが、ImageNet上で半分のGPU日未満で探索を完了した。
• ImageNet上では、TEG-NASを搭載したFP-NASがトップ-1誤差21.8%を達成し、以前の手法を上回り、トレーニング不要NASの分野で新たな最先端水準を樹立した。
• NAS-Bench-201におけるアブレーションスタディでは、$\hat{\kappa}$、$\hat{R}$、MSEの3つのTEG指標を併用した場合、テスト精度70.42%を達成し、単一指標や1エポックトレーニングベースライン（68.4%）を上回った。
• DARTS探索空間では、複雑なランドスケープ幾何構造が生じ、NAS-Bench-201と比較してTEG特性のバランスをとるのがはるかに困難であることが判明した。NAS-Bench-201は単純なトポロジーと容易な収束性を有していた。
• TEGフレームワークにより、3次元TEG空間上での探索軌跡の可視化が可能となり、NAS-Bench-201のような単純な探索空間では、良好な局所最適解がより容易に見つかることが明らかになった。
• 特に$\hat{\kappa}$と$\hat{R}$のようなトレーニング不要指標は、最終的なネットワーク精度と強く相関しており、理論的根拠と実用的有用性の両方を裏付けた。