[論文レビュー] NAS-Bench-201: Extending the Scope of Reproducible Neural Architecture Search

Xuanyi Dong, Yi Yang|arXiv (Cornell University)|Jan 2, 2020

Advanced Neural Network Applications参考文献 35被引用数 83

ひとこと要約

本論文は NAS-Bench-201 を紹介します。これは CIFAR-10、CIFAR-100、ImageNet-16-120 の3データセットに跨って評価された 15,625 のアーキテクチャを含む、固定セルベースの検索空間ベンチマークと、公正な NAS アルゴリズムの比較を可能にする診断データを提供します。

ABSTRACT

Neural architecture search (NAS) has achieved breakthrough success in a great number of applications in the past few years. It could be time to take a step back and analyze the good and bad aspects in the field of NAS. A variety of algorithms search architectures under different search space. These searched architectures are trained using different setups, e.g., hyper-parameters, data augmentation, regularization. This raises a comparability problem when comparing the performance of various NAS algorithms. NAS-Bench-101 has shown success to alleviate this problem. In this work, we propose an extension to NAS-Bench-101: NAS-Bench-201 with a different search space, results on multiple datasets, and more diagnostic information. NAS-Bench-201 has a fixed search space and provides a unified benchmark for almost any up-to-date NAS algorithms. The design of our search space is inspired from the one used in the most popular cell-based searching algorithms, where a cell is represented as a DAG. Each edge here is associated with an operation selected from a predefined operation set. For it to be applicable for all NAS algorithms, the search space defined in NAS-Bench-201 includes all possible architectures generated by 4 nodes and 5 associated operation options, which results in 15,625 candidates in total. The training log and the performance for each architecture candidate are provided for three datasets. This allows researchers to avoid unnecessary repetitive training for selected candidate and focus solely on the search algorithm itself. The training time saved for every candidate also largely improves the efficiency of many methods. We provide additional diagnostic information such as fine-grained loss and accuracy, which can give inspirations to new designs of NAS algorithms. In further support, we have analyzed it from many aspects and benchmarked 10 recent NAS algorithms.

研究の動機と目的

• 公平な NAS アルゴリズム比較を可能にする、固定のアルゴリズム非依存の検索空間を提供する。
• 転移性を評価するため、複数のデータセットにまたがるアーキテクチャの性能データを提供する。
• NAS設計を導くため、損失/精度の推移、パラメータ、FLOPs、レイテンシなど、豊富な診断情報を提供する。
• 最新の NAS 手法の範囲を評価して、ベンチマークの実用性を示す。
• NAS 研究における再現性の促進と、アルゴリズム開発の高速化を促す。

提案手法

• 人気のセルベース NAS アプローチに触発された、固定のセル検索空間を定義する。エッジごとに5つの候補操作を持つ4ノードの DAG で、総計 15,625 のセル候補となる。
• 統一された訓練プロトコルの下、3つのデータセット（CIFAR-10、CIFAR-100、ImageNet-16-120）で各アーキテクチャ候補を訓練・評価する。
• 完全な訓練ログ、最終および中間の性能指標（loss/accuracy）、およびアーキテクチャ診断情報（パラメータ、FLOPs、レイテンシ）を提供する。
• ランダム探索、進化法、強化学習、微分可能法、ハイパーパラメータ最適化（HPO）など、10の NAS アルゴリズムのスイートをベンチマークして、ベースラインと洞察を確立する。
• 訓練戦略（BN の振る舞い、ハイパーパラメータ）の影響が、検索結果とランキング安定性へ与える影響を強調する。

実験結果

リサーチクエスチョン

• RQ1 固定された包括的なセルベースの検索空間は、多様な NAS アルゴリズム間で公正かつ再現可能な比較を可能にするのか？
• RQ2 NAS-Bench-201 に収録されたアーキテクチャは複数データセットでどう性能を示し、データセット間のランキングはどれほど転移可能か？
• RQ3 最終精度を超えた、より良い NAS アルゴリズム設計を導く診断情報とは何か？
• RQ4 事前に計算済みのアーキテクチャ性能へ直接アクセスできる場合、異なる NAS アルゴリズムは検索効率の面でどうなるか？
• RQ5 データセットや訓練設定をまたがる NAS の知見の一般化に影響を与える要因は何か？

主な発見

• NAS-Bench-201 は、事前に計算済みのアーキテクチャ性能を返すことで、固定かつアルゴリズム非依存のベンチマークを提供し、迅速な評価を可能にする。
• アーキテクチャはパラメータ数だけでなく、接続トポロジーと操作の選択によって大きく影響を受け、パフォーマンスは多様である。
• アーキテクチャのランキングは CIFAR-10、CIFAR-100、ImageNet-16-120 の間で概ね一貫しており、データセット特有の分散がある。
• 適応なしにデータセット間でトップアーキテクチャを移植しても最良性能を保証せず、転移可能な NAS 手法の必要性を強調する。
• パラメータ共有がない場合、特定の NAS 手法（例：REA、RS、REINFORCE、BOHB）は、ベンチマークの訓練設定では他の手法を上回ることがある。
• BN の取り扱い（バッチ統計 vs ランニング推定）は、パラメータ共有を用いる NAS 手法に大きく影響する。