[論文レビュー] NAS-Bench-201: Extending the Scope of Reproducible Neural Architecture\n Search

Xuanyi Dong, Yi Yang|arXiv (Cornell University)|Jan 2, 2020

Advanced Neural Network Applications被引用数 290

ひとこと要約

本論文は NAS-Bench-201 を紹介します。これは 15,625 のアーキテクチャを評価した固定セルベースの探索空間ベンチマークで、3つのデータセットに渡って評価され、フェアな NAS アルゴリズムの比較と訓練済みモデルパラメータの再利用を可能にする豊富なトレーニングログと診断データを提供します。

ABSTRACT

Neural architecture search (NAS) has achieved breakthrough success in a great\nnumber of applications in the past few years. It could be time to take a step\nback and analyze the good and bad aspects in the field of NAS. A variety of\nalgorithms search architectures under different search space. These searched\narchitectures are trained using different setups, e.g., hyper-parameters, data\naugmentation, regularization. This raises a comparability problem when\ncomparing the performance of various NAS algorithms. NAS-Bench-101 has shown\nsuccess to alleviate this problem. In this work, we propose an extension to\nNAS-Bench-101: NAS-Bench-201 with a different search space, results on multiple\ndatasets, and more diagnostic information. NAS-Bench-201 has a fixed search\nspace and provides a unified benchmark for almost any up-to-date NAS\nalgorithms. The design of our search space is inspired from the one used in the\nmost popular cell-based searching algorithms, where a cell is represented as a\nDAG. Each edge here is associated with an operation selected from a predefined\noperation set. For it to be applicable for all NAS algorithms, the search space\ndefined in NAS-Bench-201 includes all possible architectures generated by 4\nnodes and 5 associated operation options, which results in 15,625 candidates in\ntotal. The training log and the performance for each architecture candidate are\nprovided for three datasets. This allows researchers to avoid unnecessary\nrepetitive training for selected candidate and focus solely on the search\nalgorithm itself. The training time saved for every candidate also largely\nimproves the efficiency of many methods. We provide additional diagnostic\ninformation such as fine-grained loss and accuracy, which can give inspirations\nto new designs of NAS algorithms. In further support, we have analyzed it from\nmany aspects and benchmarked 10 recent NAS algorithms.\n

研究の動機と目的

• 再現可能な NAS 評価のための固定でアルゴリズム非依存のセルベース探索空間を提供する。
• 各アーキテクチャについて複数データセットの訓練ログ、精度、損失データを提供し、冗長な訓練を避ける。
• パラメータ数、FLOPs、待機遅延、細粒度の訓練動態などの追加診断情報を提供し、NAS 設計の判断材料とする。
• 標準化されたデータセット上で多様な NAS アルゴリズムのベンチマークと公正な比較を可能にする。

提案手法

• エッジごとに 5 種の演算オプションを持つ固定の 4 ノード密結合 DAG セルを定義する（ゼロ化、スキップ、1x1 畳み込み、3x3 異常、3x3 平均プール）。
• セルを3段階の標準マクロスケルトンと、現代のセルベース NAS 手法に相当する残差ダウンサンプリングブロックに組み立てる。
• 統一された訓練プロトコルとエポック数で、全アーキテクチャ候補（15,625 種類）を CIFAR-10、CIFAR-100、ImageNet-16-120 で訓練・評価する。
• 各アーキテクチャと実行ごとに、完全な訓練ログ（エポックごとの損失/精度）、パラメータ数、FLOPs、待機遅延を提供する。
• NAS-Bench-201 上で 10 の NAS アルゴリズム（RL、ES、微分可能、HPO）をベンチマークし、スピードアップと転移性を評価する。

実験結果

リサーチクエスチョン

• RQ1 固定かつ総合的な NAS セル空間は、NAS アルゴリズム間の公正な比較をどのように実現するか？
• RQ2 NAS-Bench-201 内で CIFAR-10、CIFAR-100、ImageNet-16-120 の間でアーキテクチャの性能分布と転移性はどうなるか？
• RQ3 NAS アルゴリズムは、アーキテクチャを再訓練せずにベンチマークの事前計算結果を利用して大幅なスピードアップを達成できるか？
• RQ4 より頑健で効率的な NAS 手法の設計に役立つ診断情報とは何か？

主な発見

• NAS-Bench-201 の空間は 15,625 の候補セルを含み、3 つのデータセット全体で評価をサポートします。
• 一貫した訓練設定で統一的かつ再現性のある枠組みで、広範な NAS 手法をベンチマークできる。
• この空間内で、DARTS の派生形とパラメータ共有アプローチは BN の扱いと訓練ハイパーパラメータに敏感であることを示している。
• パラメータ共有を行わない NAS 手法（REA、RS、REINFORCE、BOHB）は、より細粒度の訓練信号と短い実行時間で高い順位を達成できる。
• ベンチマークは、データセット全体で一般的に一貫したアーキテクチャのランキングを示し、データセット間で直接アーキテクチャを移植する際の転移性の課題を浮き彫りにする。