[論文レビュー] NAS-Bench-1Shot1: Benchmarking and Dissecting One-shot Neural Architecture Search

Arber Zela, Julien Siems+1 more|arXiv (Cornell University)|Jan 28, 2020

Advanced Neural Network Applications参考文献 29被引用数 61

ひとこと要約

NAS-Bench-1Shot1を紹介する。NAS-Bench-101を再利用してワンショットNAS手法を低コストで評価し、軌跡、ハイパーパラメータ感度、ブラックボックス最適化器との比較の分析を可能にする。

ABSTRACT

One-shot neural architecture search (NAS) has played a crucial role in making NAS methods computationally feasible in practice. Nevertheless, there is still a lack of understanding on how these weight-sharing algorithms exactly work due to the many factors controlling the dynamics of the process. In order to allow a scientific study of these components, we introduce a general framework for one-shot NAS that can be instantiated to many recently-introduced variants and introduce a general benchmarking framework that draws on the recent large-scale tabular benchmark NAS-Bench-101 for cheap anytime evaluations of one-shot NAS methods. To showcase the framework, we compare several state-of-the-art one-shot NAS methods, examine how sensitive they are to their hyperparameters and how they can be improved by tuning their hyperparameters, and compare their performance to that of blackbox optimizers for NAS-Bench-101.

研究の動機と目的

• 一般的なワンショットNASのベンチマークフレームワークを提供し、最近の variants をインスタンス化できるようにする。
• NAS-Bench-101 の計算を再利用して、ワンショット NAS 手法の安価でいつでも評価を可能にする。
• 最先端のワンショット NAS 手法を比較し、ハイパーパラメータ感度と調整による潜在的改善を評価する。
• ワンショット NAS の構成要素と離散 NAS オプティマイザを再現・公平に比較する統一コードベースを提供する。

提案手法

• NAS-Bench-101 の探索空間表現とワンショット NAS 表現との間の対応を定義し、ワンショット法で見つかった離散アーキテクチャを照会する。
• NAS-Bench-101 に由来する複数の複雑さを持つ三つの NAS-Bench-1Shot1 探索空間を構築（探索空間 1–3）、最大空間は 363,648 アーキテクチャを含む。
• 単一のコードベース内で、DARTS、GDAS、PC-DARTS、ENAS、Random WS などを含むワンショット NAS 手法の実装と評価の一般的なフレームワークを提供する。
• 探索エポックを通じてアーキテクチャの重みを追跡し、NAS-Bench-101 を照会してテスト/検証エラーを得て、各アーキテクチャを再訓練せずに全体の軌道を分析する。
• ワンショットモデルのランキングと真の NAS-Bench-101 パフォーマンスとの相関を検討する。
• ハイパーパラメータに対する頑健性を評価し、ハイパーパラメータ最適化（BOHB）による調整性を実証する。
• 再現性と公平なベンチマーキングを促進するために、オープンソース実装を提供する。

実験結果

リサーチクエスチョン

• RQ1 異なるワンショット NAS 手法は、アーキテクチャを NAS-Bench-101 評価と比較した anytime 評価フレームワークでどの程度の性能を示すか？
• RQ2 探索空間全体で、1ショット検証性能と真の NAS-Bench-101 テスト性能の相関はどの程度か？
• RQ3 ワンショット NAS 手法はハイパーパラメータにどの程度敏感で、調整は離散 NAS オプティマイザと比較して性能を改善できるか？
• RQ4 共通のコードベース上で統一フレームワークが各種ワンショット NAS バリアントを妨げる要因なく公正に比較できるか？
• RQ5 ハイパーパラメータ最適化は過剰適合を減らし、探索空間を横断してアーキテクチャ品質を向上させるのにどの程度寄与するか？

主な発見

• GDAS はベンチマーク全体で最も優れた anytime 性能を示すが、温度調整のために局所最適解へ早期収束する可能性がある。
• DARTS と PC-DARTS はワンショット検証誤差が低下しても、必ずしも NAS-Bench-101 のテスト誤差の低下と一致しない。
• DARTS、PC-DARTS、GDAS、Random WS ではワンショット検証ランキングと NAS-Bench-101 テスト性能の相関がほとんどないか全くない一方、ENAS は特定の空間で一定の相関を示す。
• BOHB によるハイパーパラメータ調整は成果を大きく向上させ、デフォルト設定を上回る最適構成を生み出すことがあり、時には離散 NAS オプティマイザを上回る。
• ハイパーパラメータ調整は探索時間を短縮する（例：DARTS 調整の例は 45 GPU 日から 16 GPU で 1 日へ）と、堅牢な設定を探索空間全体で示す。
• Random WS および ENAS は、ワンショットのスケーリングと真のアーキテクチャパフォーマンスの相関が弱いため、一般的に劣る。
• このフレームワークは効率的で公正な比較と再現を可能にし、ワンショット NAS におけるハイパーパラメータ主導の改善の可能性を示す。