[論文レビュー] BANANAS: Bayesian Optimization with Neural Architectures for Neural Architecture Search

Colin White, Willie Neiswanger+1 more|arXiv (Cornell University)|Oct 25, 2019

Machine Learning and Data Classification被引用数 25

ひとこと要約

BANANASは、神経アーキテクチャ検索（NAS）のためのベイズ最適化フレームワークを提案する。神経予測子を用いた新しいパスベースのアーキテクチャ符号化を採用し、NASBench-101では最先端の性能を達成し、NASBench-201では競争力のある結果を示す。本手法は、隣接行列ではなくアーキテクチャ内のパスを符号化することで、スケーラビリティと予測子の精度を向上させる。

ABSTRACT

Over the past half-decade, many methods have been considered for neural architecture search (NAS). Bayesian optimization (BO), which has long had success in hyperparameter optimization, has recently emerged as a very promising strategy for NAS when it is coupled with a neural predictor. Recent work has proposed different instantiations of this framework, for example, using Bayesian neural networks or graph convolutional networks as the predictive model within BO. However, the analyses in these papers often focus on the full-fledged NAS algorithm, so it is difficult to tell which individual components of the framework lead to the best performance. In this work, we give a thorough analysis of the "BO + neural predictor" framework by identifying five main components: the architecture encoding, neural predictor, uncertainty calibration method, acquisition function, and acquisition optimization strategy. We test several different methods for each component and also develop a novel path-based encoding scheme for neural architectures, which we show theoretically and empirically scales better than other encodings. Using all of our analyses, we develop a final algorithm called BANANAS, which achieves state-of-the-art performance on NAS search spaces. We adhere to the NAS research checklist (Lindauer and Hutter 2019) to facilitate best practices, and our code is available at https://github.com/naszilla/naszilla.

研究の動機と目的

• ベイズ最適化におけるNASの分野で、特に「BO + 神経予測子」フレームワークにおいて、コンponentレベルの分析が不足している問題を解決すること。
• アーキテクチャ符号化、神経予測子、不確実性キャリブレーション、獲得関数、および獲得関数最適化戦略といった主要コンponentsを個別に特定し、最適化すること。
• 隣接行列符号化よりもスケーラビリティと予測子の精度を向上させる、新しいパスベースのアーキテクチャ符号化を開発すること。
• NASBench-101およびNASBench-201を含む標準的なNASベンチマークで、最先端の性能を達成すること。
• NAS研究チェックリストに従い、コードを公開することで再現性を促進すること。

提案手法

• フレームワークは、スケーラビリティを向上させるために従来のガウス過程の代わりに神経予測子を用いたベイズ最適化を採用し、アーキテクチャ探索をガイドする。
• 新しいパスベースの符号化により、各アーキテクチャが一意な入力から出力へのパスの集合として表現され、特徴量の依存性が低減され、ニューラルネットワークの解釈性が向上する。
• 神経予測子はアーキテクチャの性能を予測するように訓練され、不確実性はベイジアンニューラルネットワークまたはアンサンブル手法によってキャリブレーションされる。
• 獲得関数（例：期待改善）は勾配ベースの最適化またはランダムサーチ戦略を用いて最適化され、次に評価するアーキテクチャが選択される。
• 不確実性キャリブレーションと獲得関数最適化を統合することで、探索と活用のバランスをとる。
• フレームワークは、NASBench-101、NASBench-201、およびDARTSの探索空間で、一貫したトレーニングパイプラインとハイパーパrameterを用いて評価される。

実験結果

リサーチクエスチョン

• RQ1 「BO + 神経予測子」フレームワークにおいて、どのコンponentがNAS性能に最も顕著な影響を与えるか？
• RQ2 スケーラビリティと予測子の精度の観点で、パスベースのアーキテクチャ符号化は隣接行列符号化よりも優れているか？
• RQ3 神経予測子、不確実性キャリブレーション、および獲得関数のどの組み合わせが、探索効率と精度を最良に実現するか？
• RQ4 各コンponentを体系的に分析・最適化することで、完全に再現可能で高性能なNASアルゴリズムを構築できるか？
• RQ5 BANANASは、第一階層（例：DARTS）および零階ナス手法と比較して、最終的な精度とサンプル効率の点でどのように異なるか？

主な発見

• 理論的分析と実験的評価の両方で、パスベース符号化は隣接行列符号化を顕著に上回り、特徴量相関が低く、スケーラビリティに優れている。
• BANANASはNASBench-101で最先端の精度を達成し、DARTS、BOHB、NASBOT、BONASなどの手法を上回っている。
• NASBench-201では、3つのすべてのデータセットで競争力ある性能を示し、複数の探索空間にわたる優れた一般化性能を示している。
• アブレーションスタディにより、神経予測子、不確実性キャリブレーション、および獲得関数の選択が最終的な性能に顕著な影響を与えることが確認された。
• DARTSの探索空間において4回の実行で平均最終誤差が0.1%以内に収束し、高い安定性を維持している。
• フレームワークは再現可能であり、NAS研究チェックリストに準拠しており、透明性を高めるために完全なコードとハイパーパrameter詳細が公開されている。