[論文レビュー] What Causes the Test Error? Going Beyond Bias-Variance via ANOVA

Licong Lin, Edgar Dobriban|arXiv (Cornell University)|Jan 1, 2021

Neural Networks and Applications被引用数 4

ひとこと要約

本稿では、2層線形および非線形ネットワークにおけるテスト誤差分散を分析するための対称的ANOVAベースの分解を導入し、トレーニングデータと初期化の間の相互作用がしばしば分散を支配することを明らかにした—個々の効果を上回る。分散行動における段階的転移を同定し、ハール乱数行列の決定的同等を用いて分散成分の単峰性および単調性の性質を確立した。

ABSTRACT

Modern machine learning methods are often overparametrized, allowing adaptation to the data at a fine level. This can seem puzzling; in the worst case, such models do not need to generalize. This puzzle inspired a great amount of work, arguing when overparametrization reduces test error, in a phenomenon called double descent. Recent work aimed to understand in greater depth why overparametrization is helpful for generalization. This leads to discovering the unimodality of variance as a function of the level of parametrization, and to decomposing the variance into that arising from label noise, initialization, and randomness in the training data to understand the sources of the error. In this work we develop a deeper understanding of this area. Specifically, we propose using the analysis of variance (ANOVA) to decompose the variance in the test error in a symmetric way, for studying the generalization performance of certain two-layer linear and non-linear networks. The advantage of the analysis of variance is that it reveals the effects of initialization, label noise, and training data more clearly than prior approaches. Moreover, we also study the monotonicity and unimodality of the variance components. While prior work studied the unimodality of the overall variance, we study the properties of each term in variance decomposition. One key insight is that in typical settings, the interaction between training samples and initialization can dominate the variance; surprisingly being larger than their marginal effect. Also, we characterize phase transitions where the variance changes from unimodal to monotone. On a technical level, we leverage advanced deterministic equivalent techniques for Haar random matrices, that -- to our knowledge -- have not yet been used in the area. We also verify our results in numerical simulations and on empirical data examples.

研究の動機と目的

• バイアス-ばらつきトレードオフを超えた過パラメータ化モデルにおけるテスト誤差分散の原因を理解すること。
• 対称的ANOVAフレームワークを用いて、ラベルノイズ、初期化、トレーニングデータのランダムネスの寄与を分散に分解すること。
• 合計分散だけでなく、個々の分散成分の単調性および単峰性を分析すること。
• 一般化誤差におけるトレーニングデータと初期化の間の支配的相互作用効果を同定すること。
• モデル容量の増加に伴い、分散行動が単峰的から単調に変化する段階的転移を特徴付けること。

提案手法

• 2層線形および非線形ネットワークにおけるテスト誤差分散を対称的成分に分解するための分散分析（ANOVA）の適用。
• ハール乱数行列の決定的同等を用いて、分散成分の取り扱いやすい近似を導出する。
• ラベルノイズ、初期化、トレーニングデータの実現値を関数としてテスト誤差をモデル化し、それらの寄与を分離する。
• 分散分解における周辺効果および相互作用効果の解析的表現を導出する。
• 数値シミュレーションおよび実データ例を用いて理論的発見を検証する。
• モデルのパラメータ数の異なるレベルにおける分散成分の変化を追跡し、段階的転移を検出する。

実験結果

リサーチクエスチョン

• RQ1 過パラメータ化モデルにおけるテスト誤差分散に、ラベルノイズ、初期化、トレーニングデータのランダムネスがそれぞれどの程度寄与しているか？
• RQ2 初期化とトレーニングデータの周辺効果と相互作用効果の大きさを比較するとどうなるか？
• RQ3 テスト誤差の分散が単峰的または単調な振る舞いを示す条件は何か？
• RQ4 モデル容量の増加に伴い、分散構造にどのような段階的転移が生じるか？
• RQ5 トレーニングデータと初期化の相互作用効果が一般化性能にどのように影響するか？

主な発見

• トレーニングデータと初期化の相互作用がテスト誤差分散を支配しており、個々の周辺効果の和を上回ることもしばしばある。
• モデルのパラメータ数の関数として分散成分は単峰的であるが、分散曲線の形状が変化する明確な段階的転移が存在する。
• 典型的な過パラメータ化設定では、相互作用効果が初期化またはトレーニングデータの周辺効果よりも常に大きい。
• ANOVA分解により、ラベルノイズは分散に顕著な寄与をしているが、大多数の設定では支配的要因ではないことが判明した。
• 分散行動における段階的転移は解析的に特徴付けられ、モデル容量およびデータ分布の変化と関連づけられた。
• 数値シミュレーションおよび実データから、分散分解および相互作用支配の理論的予測が確認された。