[論文レビュー] Zero-Cost Proxies for Lightweight NAS

Mohamed S. Abdelfattah, Abhinav Mehrotra+2 more|arXiv (Cornell University)|Jan 20, 2021

Advanced Neural Network Applications参考文献 38被引用数 65

ひとこと要約

本論文は、初期剪定に基づくゼロコストプロキシを提案し、1つのミニバッチでニューラルネットワークを評価して、訓練を縮小したプロキシと同等またはそれ以上のランキングを達成し、複数のベンチマークと探索アルゴリズムに渡ってNASをより高速化する。

ABSTRACT

Neural Architecture Search (NAS) is quickly becoming the standard methodology to design neural network models. However, NAS is typically compute-intensive because multiple models need to be evaluated before choosing the best one. To reduce the computational power and time needed, a proxy task is often used for evaluating each model instead of full training. In this paper, we evaluate conventional reduced-training proxies and quantify how well they preserve ranking between multiple models during search when compared with the rankings produced by final trained accuracy. We propose a series of zero-cost proxies, based on recent pruning literature, that use just a single minibatch of training data to compute a model's score. Our zero-cost proxies use 3 orders of magnitude less computation but can match and even outperform conventional proxies. For example, Spearman's rank correlation coefficient between final validation accuracy and our best zero-cost proxy on NAS-Bench-201 is 0.82, compared to 0.61 for EcoNAS (a recently proposed reduced-training proxy). Finally, we use these zero-cost proxies to enhance existing NAS search algorithms such as random search, reinforcement learning, evolutionary search and predictor-based search. For all search methodologies and across three different NAS datasets, we are able to significantly improve sample efficiency, and thereby decrease computation, by using our zero-cost proxies. For example on NAS-Bench-101, we achieved the same accuracy 4$ imes$ quicker than the best previous result. Our code is made public at: https://github.com/mohsaied/zero-cost-nas.

研究の動機と目的

• NAS計算量の削減を促すため、完全な訓練を行わずにモデルを評価する。
• 初期剪定のサリエンシー指標を適用して、NASのためにネットワーク全体をスコアリングする。
• 複数のベンチマークで、ゼロコストプロキシを従来の訓練縮小プロキシと比較する。
• 異なるNASアルゴリズムにゼロコストプロキシを統合してサンプル効率を向上させる。

提案手法

• パラメータごとのサリエンシー指標（snip、grasp、synflow、fisher、jacob_cov）を適用し、パラメータレベルのスコアを集約してネットワーク全体をスコアリングする。
• NASベンチマーク全体における最終訓練精度と対して、Spearman順位相関でプロキシを評価する。
• NAS-Bench-201およびより大規模なベンチマークでゼロコストプロキシをEcoNASプロキシと比較する。
• ゼロコストウォームアップとゼロコストムーブ提案を横断して、RAND、RL、AE、および予測子ベースの検索におけるゼロコストプロキシの統合戦略を検討する。

実験結果

リサーチクエスチョン

• RQ1 初期剪定サリエンシー指標を集約して、訓練なしでNASのためのネットワーク全体をスコアリングできるか？
• RQ2 ゼロコストプロキシは、NASベンチマーク全体で従来の訓練縮小プロキシよりモデルのランキングをより良く保持するか？
• RQ3 ゼロコストプロキシを既存のNAS探索アルゴリズムにどう統合してサンプル効率を向上させるか？
• RQ4 多様なNAS空間とタスクに対して頑健なゼロコスト指標はどれか？

主な発見

• 単一のミニバッチを用いるゼロコストプロキシは、EcoNASプロキシのランキング品質と同等またはそれを上回る（例: synflow が一貫して高い性能を示す）。
• NAS-Bench-201では、synflowはデータセット全体でSpearman ρ > 0.73を達成し、jacob_cov も堅調で、多数決アンサンブル（vote）はρ > 0.8に達する。
• ゼロコストプロキシは、4つの探索アルゴリズムと3つのベンチマーク全体でNASの大幅なスピードアップを可能にし、NAS-Bench-101では最大4×高速化。
• synflowを用いたゼロコストウォームアップとムーブ提案戦略は、RAND、RL、AE、 Predictorベースの探索のサンプル効率を大幅に改善。
• SynflowはNASベンチマーク全体で一貫してトップモデルのランキングを維持し、ウォームアップ/ムーブ提案はNAS-Bench-101とNAS-Bench-201で最先端の結果をもたらす。