[論文レビュー] NAS-Bench-101: Towards Reproducible Neural Architecture Search

Chris Ying, Aaron Klein+4 more|arXiv (Cornell University)|Feb 25, 2019

Machine Learning in Materials Science被引用数 253

ひとこと要約

NAS-Bench-101 は CIFAR-10 のトレーニングおよび評価指標に対応する 423k のユニークな CNN アーキテクチャを公開・包括的にマッピングするデータセットを提供し、モデルを再訓練することなく迅速で再現可能な NAS ベンチマーキングを可能にします。

ABSTRACT

Recent advances in neural architecture search (NAS) demand tremendous computational resources, which makes it difficult to reproduce experiments and imposes a barrier-to-entry to researchers without access to large-scale computation. We aim to ameliorate these problems by introducing NAS-Bench-101, the first public architecture dataset for NAS research. To build NAS-Bench-101, we carefully constructed a compact, yet expressive, search space, exploiting graph isomorphisms to identify 423k unique convolutional architectures. We trained and evaluated all of these architectures multiple times on CIFAR-10 and compiled the results into a large dataset of over 5 million trained models. This allows researchers to evaluate the quality of a diverse range of models in milliseconds by querying the pre-computed dataset. We demonstrate its utility by analyzing the dataset as a whole and by benchmarking a range of architecture optimization algorithms.

研究の動機と目的

• 公開され、再現性のある研究を可能にする NAS データセットを提供する。
• コンパクトで表現力のある探索空間を定義し、アーキテクチャを網羅的に評価する。
• 公平な比較を確保する標準化された訓練/評価パイプラインを提供する。
• 探索空間の特性とアルゴリズムベンチマークの分析を通じてデータセットの有用性を示す。

提案手法

• 7ノードのセルグラフ空間を定義し、3つの操作ラベル（3x3 conv, 1x1 conv, 3x3 max-pool）を用い、V ≤ 7 および最大9エッジに制約する。
• グラフ同型性削減と固定セルエンコーディングを使って約423k個のユニークグラフを列挙する。
• 固定の結合セマンティクスを持つCNNセルへグラフを変換する（出力で結合、他の場所は加算）。
• 単一の公開トレーニングパイプラインと固定ハイパーパラメータ（コサイン LR 減衰、RMSProp、L2 正則化）で CIFAR-10 上で全アーキテクチャを訓練する。
• 各アーキテクチャを4, 12, 36, 108 の4つのエポック予算で3回訓練を繰り返し、分散を測定し多忠実度ベンチマーキングを可能にする。

実験結果

リサーチクエスチョン

• RQ1 網羅的に評価された NAS 探索空間は、アーキテクチャ設計の選択肢と探索空間特性を分析するのに使えるか。
• RQ2 固定の公開データセットでベンチマークした場合、異なる NAS 最適化アルゴリズムはどのように性能を示すか。
• RQ3 NAS-Bench-101内のアーキテクチャ操作とセルの深さ/幅が精度と訓練コストに与える影響はどの程度か。
• RQ4 探索空間の局所性特性は NAS アルゴリズムの性能にどの程度影響するか。

主な発見

• データセットは 423k のユニークなアーキテクチャを訓練/検証/テスト指標へマッピングしており、再訓練なしで迅速な検索が可能。
• 最良のアーキテクチャは CIFAR-10 の平均テスト精度 94.32% を達成；ResNet様セルとInception様セルはそれぞれ 93.12%、92.95% に達する。
• ほとんどのアーキテクチャは高い訓練精度を達成し、検証/テストの不整合が小さい（108 エポックで検証精度とテスト精度の相関は r=0.999）。
• 手で設計されたセルは精度と訓練コストのパレート前線付近にあり、トポロジーと操作の選択が高性能と効率性のために重要であることを示す。
• 探索空間の局所性は強く、有意な性能変化は小さな編集距離内に集中する；空間の約35.4%がトップグラフから距離6以内に位置する。