[論文レビュー] NAS-Bench-Suite: NAS Evaluation is (Now) Surprisingly Easy

Yash Mehta, Colin White+7 more|arXiv (Cornell University)|Jan 31, 2022

Machine Learning in Materials Science被引用数 16

ひとこと要約

この論文は、25の多様なNAS探索空間とデータセットを統合した単一のインターフェースを提供する包括的で拡張可能なベンチマークスイートであるNAS-Bench-Suiteを紹介する。これにより、迅速で再現可能かつ一般化可能なニューラルアーキテクチャ探索研究が可能になる。主な貢献は、NASアルゴリズムやハイパーパramータがベンチマーク間で一般化しないことを示したことであり、限られたデータセットからの結論に誤解を招くおそれがあるため、より広範な評価が不可欠であることを示している。

ABSTRACT

The release of tabular benchmarks, such as NAS-Bench-101 and NAS-Bench-201, has significantly lowered the computational overhead for conducting scientific research in neural architecture search (NAS). Although they have been widely adopted and used to tune real-world NAS algorithms, these benchmarks are limited to small search spaces and focus solely on image classification. Recently, several new NAS benchmarks have been introduced that cover significantly larger search spaces over a wide range of tasks, including object detection, speech recognition, and natural language processing. However, substantial differences among these NAS benchmarks have so far prevented their widespread adoption, limiting researchers to using just a few benchmarks. In this work, we present an in-depth analysis of popular NAS algorithms and performance prediction methods across 25 different combinations of search spaces and datasets, finding that many conclusions drawn from a few NAS benchmarks do not generalize to other benchmarks. To help remedy this problem, we introduce NAS-Bench-Suite, a comprehensive and extensible collection of NAS benchmarks, accessible through a unified interface, created with the aim to facilitate reproducible, generalizable, and rapid NAS research. Our code is available at https://github.com/automl/naslib.

研究の動機と目的

• 既存のNASベンチマーク間の整合性と相互運用性の欠如を是正し、一般化可能な研究を妨げる要因を解消すること。
• NASアルゴリズムやハイパーパramータが一部のベンチマークで学習された後、他の探索空間やタスクに一般化されるかどうかを調査すること。
• 多様なデータセットとアーキテクチャをカバーする、統一的かつ拡張可能なインターフェースを提供し、NAS手法の迅速かつ再現可能な評価を可能にすること。
• NASコミュニティにおけるアルゴリズムの頑健性やハイパーパramータの転送可能性に関する一般的な誤解を特定・是正すること。
• 幅広い問題タイプと探索空間の特性をカバーする包括的評価を可能にすることで、実験的厳密性を促進すること。

提案手法

• 著者らは、ほぼすべての公開可能でクエリ可能なNASベンチマークを統合し、単一の統一されたAPIとして提供する。このAPIは、表形式、サーヴィエート、および実際のNASベンチマークをサポートする。
• ネットワークのグラフ表現にはNetworkXを用い、事前計算済みのベンチマークデータにアクセスするためのget_dataset_api関数を実装することで、標準化されたインターフェースを実現している。
• 25の異なる探索空間とデータセットの組み合わせ（画像分類、NLP、音声、オブジェクト検出を含む）に対して、NASアルゴリズムとパフォーマンス予測器を評価している。
• 各ベンチマークごとにハイパーパramータ最適化（HPO）を実施し、異なるベンチマーク間での最適ハイパーパramータの転送可能性を体系的にテストしている。
• 統計的分析では、探索空間の特性（サイズ、近隣ノード数）とアルゴリズムのパフォーマンス順位との間のケンダールタウ順位相関を評価している。
• 本フレームワークは、実際のベンチマークとサーヴィエートベンチマークの両方をサポートしており、最大10^18のアーキテクチャを含む探索空間に対しても評価が可能である。

実験結果

リサーチクエスチョン

• RQ1 NAS-Bench-101およびNAS-Bench-201で優れた性能を示すNASアルゴリズムは、他の探索空間やデータセットに対しても一般化可能か？
• RQ2 NAS手法の最適ハイパーパramータは、異なる探索空間間で転送可能か、それとも特定のベンチマークに強く依存するか？
• RQ3 探索空間の特性（サイズ、近隣ノード数など）は、異なるNASアルゴリズムやパフォーマンス予測器の性能とどのように相関するか？
• RQ4 アルゴリズムの頑健性といったNAS研究における暗黙の仮定が、多様なベンチマークで評価された際に、どの程度崩壊するか？
• RQ5 統一されたベンチマークスイートは、NAS研究の再現性と一般化可能性を顕著に向上させることができるか？

主な発見

• NAS-Bench-101やNAS-Bench-201で優れた性能を示す多くのNASアルゴリズムが、他のベンチマークでは一般化できないことが判明。これは、少数のベンチマークからの結論が普遍的ではないことを示している。
• NAS手法の最適ハイパーパramータは、特定の探索空間に強く依存しており、ベンチマーク間でチューニング済ハイパーパramータを転送すると、性能が著しく低下することが多い。
• XGBoost や RF などのパフォーマンス予測器は、探索空間のサイズや近隣ノード数と強い相関を示す。特に、ハイパーパラメータを最適化した場合、XGBoostは探索空間サイズに対して-0.51のケンダールタウ相関を示した。
• BOHAMIANN はチューニングされていない場合、大きな近隣ノード数の探索空間で相対的に優れた性能を示す（相関0.35）が、チューニング済みでは小さな近隣ノード数の探索空間でより良い性能を示す（相関0.37）。これは、ハイパーパラメータ依存性が複雑であることを示している。
• ローカルサーチおよび正則化進化（regularized evolution）は、小さな探索空間および小さな近隣ノード数の探索空間で顕著に優れた性能を示し、正則化進化の性能順位と近隣ノード数の間には-0.51の強い負の相関が確認された。
• 探索空間内の演算子数と正確性の四分位範囲（IQR）との間に明確な負の相関が認められ、より大きな探索空間では性能分布がより一貫性を持つ傾向がある。