[論文レビュー] NAS-Bench-Suite-Zero: Accelerating Research on Zero Cost Proxies

Arjun Krishnakumar, Colin White+4 more|arXiv (Cornell University)|Oct 6, 2022

Software Engineering Research被引用数 12

ひとこと要約

本稿では、28のニューラルアーキテクチャ探索タスクにおける13種類のゼロコスト（ZC）プロキシの事前計算済みスコアを備えた統合的ベンチマーク「NAS-Bench-Suite-Zero」を紹介する。これにより、評価が数桁速くなり、情報理論的分析を通じてZCプロキシ間の補完的情報が明らかになり、すべての13プロキシを組み合わせることで、NASアルゴリズムにおけるスレーブモデル性能が最大42%向上することが示された。

ABSTRACT

Zero-cost proxies (ZC proxies) are a recent architecture performance prediction technique aiming to significantly speed up algorithms for neural architecture search (NAS). Recent work has shown that these techniques show great promise, but certain aspects, such as evaluating and exploiting their complementary strengths, are under-studied. In this work, we create NAS-Bench-Suite: we evaluate 13 ZC proxies across 28 tasks, creating by far the largest dataset (and unified codebase) for ZC proxies, enabling orders-of-magnitude faster experiments on ZC proxies, while avoiding confounding factors stemming from different implementations. To demonstrate the usefulness of NAS-Bench-Suite, we run a large-scale analysis of ZC proxies, including a bias analysis, and the first information-theoretic analysis which concludes that ZC proxies capture substantial complementary information. Motivated by these findings, we present a procedure to improve the performance of ZC proxies by reducing biases such as cell size, and we also show that incorporating all 13 ZC proxies into the surrogate models used by NAS algorithms can improve their predictive performance by up to 42%. Our code and datasets are available at https://github.com/automl/naslib/tree/zerocost.

研究の動機と目的

• 事前計算済みスコアを備えた統合的かつ拡張可能なベンチマークを提供することで、ゼロコストプロキシ（ZCプロキシ）に関する研究を加速すること。
• 13種類のZCプロキシの一般化性能、バイアス、および相違するNASベンチマーク間での補完的情報の評価。
• ZCプロキシを効果的に組み合わせることで、ニューラルアーキテクチャ探索（NAS）におけるスレーブモデル性能を向上させる方法の調査。
• ZCプロキシのバイアスを低減する手法の開発と検証により、その予測精度を向上させること。
• 複数のZCプロキシをNASアルゴリズムに統合することで得られる実用的影響を実証し、予測性能の向上を示すこと。

提案手法

• 著者らは、NASLibに基づく統一されたコードベースを用いて、28のタスクにわたり13種類のZCプロキシを実装・事前計算し、一貫性のある評価を確保するとともに、実装固有の混同要因を排除した。
• バイアス分析およびZCプロキシ間の相互情報量に関する情報理論的分析を含む大規模な実験的分析を実施した。
• ZCプロキシのバイアス低減のための手順を提案し、セルサイズや畳み込み演算の数といったアーキテクチャ要因に焦点を当てた。
• ZCプロキシスコアをアーキテクチャ符号化と連結し、XGBoostスレーブモデルにおける特徴量として使用した。
• 最適なZCプロキシのサブセットを特定するために、グリーディー特徴選択法を用いた。
• 主な指標としてスピアマン順位相関を用い、BANANASおよびNPENASの2つの予測器ベースのNASアルゴリズムを用いて、手法の有効性を検証した。

実験結果

リサーチクエスチョン

• RQ1 ZCプロキシは多様なNASベンチマークにどのように一般化されるのか。また、その性能に影響を与えるバイアス要因は何か。
• RQ2 異なるZCプロキシが、アーキテクチャ性能予測においてどの程度補完的情報を捉えているのか。
• RQ3 複数のZCプロキシを組み合わせることで、NASにおけるスレーブモデルの予測性能を顕著に向上させられるか。
• RQ4 例えば、より大きなアーキテクチャを好むバイアスといったZCプロキシのバイアスを、体系的に低減する方法は何か。
• RQ5 スレーブモデルにおける最大の予測的増益を得るために、最適なZCプロキシの数は何か。

主な発見

• 情報理論的分析により、ZCプロキシが顕著な補完的情報を捉えていることが確認された。特に、複数のプロキシに条件付けた場合、検証精度の予測に高い情報量の増加が見られた。
• バイアス分析により、ZCプロキシがパラメータ数や畳み込み演算の数が多いアーキテクチャを好む傾向があることが判明。これは正規化およびアーキテクチャ特徴の調整により緩和可能である。
• すべての13種類のZCプロキシをスレーブモデルに組み込むことで、アーキテクチャ符号化のみを使用した場合と比較して、スピアマン順位相関が最大42%向上した。
• アブレーションスタディの結果、6〜8個のZCプロキシを組み込むと性能が頭打ちになることが示され、それ以上の追加にはリターンが薄れることが判明した。
• BANANASおよびNPENASの両方のアルゴリズムにおいて、11のベンチマークでZCプロキシの統合が顕著な性能向上をもたらし、順位相関の向上が一貫して観察された。
• NAS-Bench-Suite-Zeroベンチマークは、AutoML-Conf 2022で開催されたゼロコストNASコンペティションでも成功裏に使用され、優勝手法はsynflow、fisher、grad_norm × paramsの正規化版を活用していた。