[論文レビュー] Generalization Guarantees for Neural Architecture Search with Train-Validation Split

Samet Oymak, Mingchen Li+1 more|arXiv (Cornell University)|Apr 29, 2021

Domain Adaptation and Few-Shot Learning参考文献 79被引用数 5

ひとこと要約

この論文は、過パラメータ化された設定における訓練・検証データ分割を用いたニューラルアーキテクチャサーチ（NAS）の理論的一般化保証を提供する。すべてのアーキテクチャがゼロの訓練損失を達成しても、検証損失—ハイパーパラメータ勾配とリスク推定を通じて—テスト性能をほぼ最小の検証データで正確に反映しており、連続的な探索空間において一般化性能が最も優れたアーキテクチャの選択が可能であることを示している。

ABSTRACT

Neural Architecture Search (NAS) is a popular method for automatically designing optimized architectures for high-performance deep learning. In this approach, it is common to use bilevel optimization where one optimizes the model weights over the training data (inner problem) and various hyperparameters such as the configuration of the architecture over the validation data (outer problem). This paper explores the statistical aspects of such problems with train-validation splits. In practice, the inner problem is often overparameterized and can easily achieve zero loss. Thus, a-priori it seems impossible to distinguish the right hyperparameters based on training loss alone which motivates a better understanding of the role of train-validation split. To this aim this work establishes the following results. (1) We show that refined properties of the validation loss such as risk and hyper-gradients are indicative of those of the true test loss. This reveals that the outer problem helps select the most generalizable model and prevent overfitting with a near-minimal validation sample size. This is established for continuous search spaces which are relevant for differentiable schemes. Extensions to transfer learning are developed in terms of the mismatch between training & validation distributions. (2) We establish generalization bounds for NAS problems with an emphasis on an activation search problem. When optimized with gradient-descent, we show that the train-validation procedure returns the best (model, architecture) pair even if all architectures can perfectly fit the training data to achieve zero error. (3) Finally, we highlight connections between NAS, multiple kernel learning, and low-rank matrix learning. The latter leads to novel insights where the solution of the outer problem can be accurately learned via efficient spectral methods to achieve near-minimal risk.

研究の動機と目的

• 過パラメータ化された深層学習の枠組み下で、訓練・検証データ分割の統計的役割を厳密に分析すること。
• すべてのアーキテクチャで訓練損失が無意味（ゼロ）となる状況下でも、なぜ検証損失がハイパーパramータ選択を効果的に導けるのかを理解すること。
• 特に活性化関数探索問題を対象として、連続的探索空間におけるNASの一般化バウンドを確立すること。
• NAS、複数カーネル学習、低ランク行列学習の理論的関係を解明し、アルゴリズム的知見を得ること。
• 二段階最適化設定下で信頼性のある一般化を実現するための最小検証サンプルサイズを定量化すること。

提案手法

• NASを二段階最適化問題として定式化：下位問題は訓練データ上でモデル重みを最適化し、上位問題は検証データ上でアーキテクチャハイパーパramータを最適化する。
• 真のテスト損失一般化の代理としての、検証損失の精密な性質（リスク、ハイパーパラメータ勾配など）を分析する。
• 集中不等式とスペクトル解析を用いて一般化バウンドを確立し、特に訓練誤差がゼロとなる過パラメータ化設定下で有効であることを示す。
• 上位問題にスペクトル法を適用し、最適なアーキテクチャが低ランク行列学習技術を用いて効率的に近似可能であることを示す。
• 確率論的および最適化的議論の連鎖を通じて誤差バウンドを導出する。推定誤差、近似誤差、一般化誤差の項を含む。
• 微分可能なNASに適したアーキテクチャパラメータの連続的緩和を用い、ハイパーパラメータの勾配ベース最適化を可能にする。

実験結果

リサーチクエスチョン

• RQ1 すべてのアーキテクチャが訓練データを完全に適合する（すなわち、訓練損失がゼロ）場合でも、検証損失はテスト性能を信頼性高く示唆できるか？
• RQ2 NASにおいて、検証損失が真のテスト損失を正確に反映するための最小検証サンプルサイズは何か？
• RQ3 検証セットにおけるハイパーパラメータ勾配とリスク推定は、テストセットにおける一般化性能とどのように関係するか？
• RQ4 NAS、複数カーネル学習、低ランク行列学習の間にはどのような理論的接続があるか？
• RQ5 スペクトル法を用いて、理論的一般化保証を伴う上位問題NASを効率的に解くことができるか？

主な発見

• 検証サンプルサイズ $ n_{ ext{V}} $ がハイパーパラメータ数 $ h $ と同等の大きさである限り、検証損失はテスト損失の周りに一様に集中する。これにより、訓練誤差がゼロであっても、信頼性のあるアーキテクチャ選択が可能になる。
• 連続的探索空間では、ハイパーパラメータ勾配と検証セット上のリスクが一般化性能の強力な指標であることが示され、微分可能なNASにおける訓練・検証分割の有効性が裏付けられる。
• 活性化関数探索問題に対して一般化バウンドを確立した。訓練誤差がゼロであっても、訓練・検証手順は最適な（モデル、アーキテクチャ）ペアを返す。
• 最適なアーキテクチャはスペクトル法により効率的に近似可能であり、上位問題の解は低ランク行列学習技術を用いて回復可能である。
• 必要な検証サンプルサイズはほぼ最小限である：$ n_{ ext{V}} \gtrsim h $ が十分であり、検証損失がテスト損失の周りに一様に集中する。
• 理論的誤差バウンドにより、適切なパラメータスケーリング下で十分な訓練および検証データが与えられれば、NAS出力の総誤差は制御可能であり、任意に小さくできることが示された。