[論文レビュー] EZNAS: Evolving Zero Cost Proxies For Neural Architecture Scoring

Yash Akhauri, J. Pablo Munoz+2 more|arXiv (Cornell University)|Sep 15, 2022

Machine Learning in Materials Science被引用数 5

ひとこと要約

EZNASは、多様な探索空間で最先端のスコア-正確度相関を達成する解釈可能で一般化可能なゼロコストニューラルアーキテクチャスコアリングメトリクス（ZC-NASMs）を自動で発見する遺伝的プログラミングフレームワークを提案する。数学的演算とニューラルネットワーク特徴量を用いて式木を進化させることで、EZNASは、NASBench-201、NDS、NATS-Benchに一般化する優れた性能を示すメトリクス（EZNAS-A）を発見した。このメトリクスは24時間未満のCPUトレーニングで得られ、NASに比べて二酸化炭素排出量を90％以上削減した。

ABSTRACT

Neural Architecture Search (NAS) has significantly improved productivity in the design and deployment of neural networks (NN). As NAS typically evaluates multiple models by training them partially or completely, the improved productivity comes at the cost of significant carbon footprint. To alleviate this expensive training routine, zero-shot/cost proxies analyze an NN at initialization to generate a score, which correlates highly with its true accuracy. Zero-cost proxies are currently designed by experts conducting multiple cycles of empirical testing on possible algorithms, datasets, and neural architecture design spaces. This experimentation lowers productivity and is an unsustainable approach towards zero-cost proxy design as deep learning use-cases diversify in nature. Additionally, existing zero-cost proxies fail to generalize across neural architecture design spaces. In this paper, we propose a genetic programming framework to automate the discovery of zero-cost proxies for neural architecture scoring. Our methodology efficiently discovers an interpretable and generalizable zero-cost proxy that gives state of the art score-accuracy correlation on all datasets and search spaces of NASBench-201 and Network Design Spaces (NDS). We believe that this research indicates a promising direction towards automatically discovering zero-cost proxies that can work across network architecture design spaces, datasets, and tasks.

研究の動機と目的

• ゼロコストニューラルアーキテクチャスコアリングメトリクス（ZC-NASMs）の自動設計を実現し、人的な手作業による試行錯誤を排除すること。
• 多様なニューラルアーキテクチャ設計空間、データセット、タスクに一般化するZC-NASMを開発すること。
• 式木から導出される解釈可能で人間が読みやすいスコアリングメトリクスを構築し、スコアに寄与するネットワーク特徴量や演算が明示的に示されること。
• 高価なトレーニングを効率的なゼロコストプロキシ評価に置き換えることで、ニューラルアーキテクチャ探索の炭素足跡を大幅に削減すること。
• 特定のアーキテクチャやデータセットに制限されない強力なZC-NASMsを発見することで、スケーラブルで効率的かつ持続可能なNASを実現すること。

提案手法

• EZNASは、各ノードが数学的演算、各リーフがニューラルネットワーク特徴量（例：勾配ノルム、活性化統計量）である式木を表現するZC-NASMsを遺伝的プログラミングで進化させる。
• フレームワークは、プロキシスコアと真のバリデーション精度の間のスコア-正確度相関（スピアマンのrho）に基づいたフィットネス関数を用いる。
• 進化操作には変異（例：演算や特徴量の変更）、クロスオーバー（部分木の交換）、フィットネスに基づく選択が含まれ、より優れた式木を進化させる。
• 探索は多様なランダム式木の集団で初期化され、1アーキテクチャあたり1回の順方向パス（小さなバッチデータ上で）を用いて世代を経て進化する。
• この手法はNDS DARTS探索空間でのみトレーニングされるが、NASBench-201 や NATS-Bench などの未学習空間で評価され、一般化性能がテストされる。
• 最終的に発見されたメトリクス、EZNAS-Aは、ノルムベースや勾配ベースの特徴量を組み合わせた、コンactで解釈可能な式木である。

実験結果

リサーチクエスチョン

• RQ1 遺伝的プログラミングフレームワークは、多様なニューラルアーキテクチャ設計空間に一般化するゼロコストニューラルアーキテクチャスコアリングメトリクスを自動で発見できるか？
• RQ2 進化したZC-NASMは、タスク固有やアーキテクチャ固有のチューニングを必要とせずに、最先端のスコア-正確度相関を達成できるか？
• RQ3 進化したメトリクスの解釈可能性が、ニューラルネットワークの性能を予測する背後にある特性を理解するのにどの程度寄与するか？
• RQ4 自動発見プロセスの効率性と炭素排出量は、従来のNASや手作業によるプロキシ設計と比べてどうか？
• RQ5 進化したZC-NASMは、特に上位10％のアーキテクチャを効果的にランク付けできるか？

主な発見

• 最良の進化したZC-NASM、EZNAS-Aは、NASBench-201（CIFAR-10、CIFAR-100、ImageNet16-120）およびNDS（DARTS、PNAS）探索空間で最先端のスコア-正確度相関を達成した。
• このメトリクスはNATS-BenchおよびNDS ImageNetに対しても効果的に一般化され、未学習のデータセットやアーキテクチャにおいても強い相関を示した。
• EZNASは単一のIntel Xeon Gold 6242 CPU上で24時間未満でZC-NASMを発見し、CO2排出量は358.6 gのCO2eにとどまり、通常のNAS探索（4.49 kg CO2e）と比べて90％以上削減された。
• 進化したメトリクスは式木として解釈可能であり、勾配ノルム、重みの分散、活性化統計量といった特徴量が数学的演算を介して組み合わされ、性能を予測していることが明示的に示された。
• EZNAS-Aは、synflow や SNIP といった既存のZC-NASMsを上回り、特にNDSおよびImageNet16-120空間において、従来の手法が失敗する状況でも一般化性能に優れた。
• この手法はバッチサイズやランダムシードの変動に対してもロバストであり、NDS PNAS空間において7つのシードと複数のバッチサイズで一貫した高い相関を示した。