[論文レビュー] Towards NNGP-guided Neural Architecture Search

Daniel Park, Jaehoon Lee+3 more|arXiv (Cornell University)|Nov 11, 2020

Advanced Neural Network Applications参考文献 61被引用数 14

ひとこと要約

本論文では、ニューラルアーキテクチャサーチ（NAS）におけるニューラルネットワークの性能予測のための計算効率の良いプロキシとして、ニューラルネットワークガウス過程（NNGP）推論を提案する。初期化時におけるモンテカルロ推定を用いてNNGPの検証精度を計算することで、短縮トレーニングよりも最大10倍速く評価可能となり、効果的な探索空間の削減と、CIFAR-10およびImageNetベンチマークにおける予測精度の向上を実現する。

ABSTRACT

The predictions of wide Bayesian neural networks are described by a Gaussian process, known as the Neural Network Gaussian Process (NNGP). Analytic forms for NNGP kernels are known for many models, but computing the exact kernel for convolutional architectures is prohibitively expensive. One can obtain effective approximations of these kernels through Monte-Carlo estimation using finite networks at initialization. Monte-Carlo NNGP inference is orders-of-magnitude cheaper in FLOPs compared to gradient descent training when the dataset size is small. Since NNGP inference provides a cheap measure of performance of a network architecture, we investigate its potential as a signal for neural architecture search (NAS). We compute the NNGP performance of approximately 423k networks in the NAS-bench 101 dataset on CIFAR-10 and compare its utility against conventional performance measures obtained by shortened gradient-based training. We carry out a similar analysis on 10k randomly sampled networks in the mobile neural architecture search (MNAS) space for ImageNet. We discover comparative advantages of NNGP-based metrics, and discuss potential applications. In particular, we propose that NNGP performance is an inexpensive signal independent of metrics obtained from training that can either be used for reducing big search spaces, or improving training-based performance measures.

研究の動機と目的

• NNGPに基づく性能予測が、NASにおける最終トレーニング済みネットワーク性能の低コストかつ高精度なプロキシとして機能するかどうかを評価すること。
• 計算コストと予測的実用性の観点から、NNGP推論を従来の短縮トレーニング指標と比較すること。
• NNGPが、大きな探索空間の縮小や、トレーニングベースの性能指標の強化に役立つ信号としての可能性を調査すること。
• NNGPとトレーニングベースの指標を組み合わせることで、NASの効率性と正確性が向上することの実現可能性と利点を示すこと。

提案手法

• 初期化時における有限幅のネットワークを用いて、モンテカルロ推定によりNNGPカーネルを計算し、高価な正確なカーネル計算を回避する。
• 得られたNNGP検証精度を、勾配ベースのトレーニングを一切行わずに、各アーキテクチャの性能プロキシとして使用する。
• NNGPに基づくランク付けを用いて、NAS-Bench-101 や MNAS のような大規模な探索空間を削減し、トレーニング対象のアーキテクチャ数を減らす。
• 線形モデルを用いて、NNGP性能と早期トレーニング指標（例：4エポックの精度）を組み合わせ、ハイブリッド性能予測子を構築する。
• NAS-Bench-101（CIFAR-10）の423,000アーキテクチャおよびMNAS（ImageNet）の10,000サンプルネットワークにおいて、NNGPおよびハイブリッド指標の予測品質を評価する。
• 統計的分析と性能比較を用いて、NNGPと最終トレーニング済み性能との相関関係を評価する。

実験結果

リサーチクエスチョン

• RQ1 NNGP推論は、NASにおける最終ニューラルネットワーク性能の信頼性があり、計算的にも効率的なプロキシを提供できるか？
• RQ2 NNGPベースの性能予測は、予測精度と計算コストの観点から、短縮トレーニング指標と比べてどのように異なるか？
• RQ3 NNGP性能を用いて、最終性能を損なわずに、大きなニューラルアーキテクチャ探索空間のサイズをどれだけ小さくできるか？
• RQ4 NNGPと早期トレーニング指標を組み合わせることで、トレーニングベースの指標のみよりも優れたハイブリッド性能指標が得られるか？

主な発見

• NNGP推論は、短縮トレーニングよりも少なくとも1桁以上計算コストが低く、小規模なデータセットではFLOP数が顕著に低い。
• NAS-Bench-101において、NNGP性能は最終トレーニング済み性能と強く相関しており、探索空間を10%および30%に削減した場合、それぞれ9.49%および9.12%のトップ10性能向上を達成した。
• NNGPスクリーニングを用いて探索空間を30%に削減しても性能品質を維持できるが、ランダムな削減では性能が低下する。
• 4エポックのトレーニング精度とNNGP精度を組み合わせたハイブリッド指標は、4エポックのトレーニングのみよりも優れた性能を示し、計算コストの増加はわずかである。
• NNGPベースのスクリーニングは、MNASのような大規模で複雑な探索空間に対しても有効であり、ImageNetの難易度が高いために予測力が低下することなく、依然として高い予測力を維持している。
• 本研究では、NNGP性能が、NASパイプラインにおいてトレーニングベースの指標と併用可能または置き換え可能な有効な独立した信号であることが示された。