[論文レビュー] How Powerful are Performance Predictors in Neural Architecture Search?

Colin White, Arber Zela+3 more|arXiv (Cornell University)|Apr 2, 2021

Machine Learning and Data Classification参考文献 70被引用数 17

ひとこと要約

本論文は、4つの探索空間と複数のデータセットを対象として、ニューラルアーキテクチャサーチ（NAS）における31種類のパフォーマンス予測子の最初の大規模比較研究を提示する。モデルベース、学習曲線の外挿、ゼロコスト、重み共有の各手法を評価した結果、異なるファミリーに属する予測子は相補的であり、それらを組み合わせることで予測性能が顕著に向上することが判明。計算リソースの制約に応じた実用的アドバイスが得られた。

ABSTRACT

Early methods in the rapidly developing field of neural architecture search (NAS) required fully training thousands of neural networks. To reduce this extreme computational cost, dozens of techniques have since been proposed to predict the final performance of neural architectures. Despite the success of such performance prediction methods, it is not well-understood how different families of techniques compare to one another, due to the lack of an agreed-upon evaluation metric and optimization for different constraints on the initialization time and query time. In this work, we give the first large-scale study of performance predictors by analyzing 31 techniques ranging from learning curve extrapolation, to weight-sharing, to supervised learning, to "zero-cost" proxies. We test a number of correlation- and rank-based performance measures in a variety of settings, as well as the ability of each technique to speed up predictor-based NAS frameworks. Our results act as recommendations for the best predictors to use in different settings, and we show that certain families of predictors can be combined to achieve even better predictive power, opening up promising research directions. Our code, featuring a library of 31 performance predictors, is available at https://github.com/automl/naslib.

研究の動機と目的

• 異なる初期化およびクエリ時間制約下での、NASにおける多様なパフォーマンス予測子ファミリーの性能を比較すること。
• NAS-Bench-201、NAS-Bench-101、DARTS、NAS-Bench-NLPを含む複数の探索空間およびデータセットにおける予測子の一貫性と信頼性を評価すること。
• 各予測子が、ベイズ最適化や進化戦略などの予測子ベースのNASフレームワークをどれだけ効率化できるかを評価すること。
• 異なるファミリーに属する予測子を組み合わせることで、より優れた予測性能が得られるかどうかを特定すること。
• 今後のパフォーマンス予測に関するNAS研究のための再現可能でオープンソースのベンチマークとライブラリを提供すること。

提案手法

• 本研究は、CIFAR-10、CIFAR-100、ImageNet16-120、Penn TreeBankを用いて、NAS-Bench-201、NAS-Bench-101、DARTS、NAS-Bench-NLPの4つの探索空間において、31種類のパフォーマンス予測子を評価した。
• ランダムおよびミューテーションベースのアーキテクチャセットに対して、ピアソン、スピアマン、ケンドールタウ、スパースケンドールタウの相関指標を用いて性能を測定した。
• 公平な比較を確保するため、標準化された実験プロトコル、ハイパーパramータチューニング、およびオリジナル実装の再利用を採用した。
• 初期化時間とクエリ時間の予算を変化させることで、セットアップコストと推論速度のトレードオフを評価した。
• ベイズ最適化と予測子誘導型進化ワークフローに予測子を統合し、実際の加速可能性を検証した。
• 31種類の予測子を包括するオープンソースライブラリをNASLibを通じて公開し、再現性と今後のベンチマークに貢献した。

実験結果

リサーチクエスチョン

• RQ1 ゼロコスト、モデルベース、学習曲線の外挿、重み共有の各予測子は、異なる計算制約下で予測精度においてどのように比較されるか？
• RQ2 どのパフォーマンス予測子が多様な探索空間およびデータセットで一貫した性能を示すか？
• RQ3 異なるファミリーに属する予測子を組み合わせることで、個々の手法よりも顕著に向上した予測力が得られるか？
• RQ4 これらの予測子は、ベイズ最適化や進化戦略などの実際のNASフレームワークをどれだけ効率化できるか？
• RQ5 標準化された評価条件下で、パブリッシュされたパフォーマンス予測子の結果はどの程度再現可能か？

主な発見

• 本研究は、ゼロコスト、モデルベース、学習曲線の外挿などの異なるファミリーに属する予測子が相補的な強みを示し、それらを組み合わせることで、単一の手法よりも顕著に高い予測性能を達成できることを示した。
• 特に勾配と活性化統計に基づくゼロコストプロキシ（例：SNIP、Grad Norm、Fisher）は、最小限のクエリ時間で優れた性能を示し、低遅延環境に最適である。
• MLP や LGBoost などのモデルベース予測子は、十分な初期化時間が確保できる場合に高いランク相関（例：スピアマン >0.7）を達成でき、有効である。
• 学習曲線の外挿手法（例：LcSVR、SoTL）は、中程度の訓練時間を要する場合に高い相関（スピアマン >0.93）を達成し、初期化コストが低いにもかかわらず強力な予測力を示した。
• 31個の予測子のうち15個について、発表済みの結果を再現でき、ランク相関の差が0.04未満にとどまった。これにより、ベンチマークの再現性が検証された。
• 異なるファミリーに属する上位の予測子を組み合わせることで、顕著な性能向上が得られ、今後のNASフレームワークにおける有望な研究方向性であることが示唆された。