[論文レビュー] Understanding Double Descent Requires a Fine-Grained Bias-Variance Decomposition

Ben Adlam, Jeffrey Pennington|arXiv (Cornell University)|Nov 4, 2020

Machine Learning in Materials Science被引用数 22

ひとこと要約

本論文は、過パラメータ化モデルにおけるデータサンプリング、モデル初期化、ラベルノイズのばらつき寄与要因を分離する対称的で細分化されたバイアス・バリアンス分解を導入する。双曲線的降下（double descent）は全体のばらつきによるのではなく、特に $V_{PX}$ および $V_{PX\boldsymbol{\rho}}$ のような相互作用項に起因しており、これらは補間閾値で発散する。この発散がテスト誤差のピークを引き起こし、バギングやアンサンブル化によってこれを除去可能であることを示している。

ABSTRACT

Classical learning theory suggests that the optimal generalization performance of a machine learning model should occur at an intermediate model complexity, with simpler models exhibiting high bias and more complex models exhibiting high variance of the predictive function. However, such a simple trade-off does not adequately describe deep learning models that simultaneously attain low bias and variance in the heavily overparameterized regime. A primary obstacle in explaining this behavior is that deep learning algorithms typically involve multiple sources of randomness whose individual contributions are not visible in the total variance. To enable fine-grained analysis, we describe an interpretable, symmetric decomposition of the variance into terms associated with the randomness from sampling, initialization, and the labels. Moreover, we compute the high-dimensional asymptotic behavior of this decomposition for random feature kernel regression, and analyze the strikingly rich phenomenology that arises. We find that the bias decreases monotonically with the network width, but the variance terms exhibit non-monotonic behavior and can diverge at the interpolation boundary, even in the absence of label noise. The divergence is caused by the \emph{interaction} between sampling and initialization and can therefore be eliminated by marginalizing over samples (i.e. bagging) \emph{or} over the initial parameters (i.e. ensemble learning).

研究の動機と目的

• 過パラメータ化モデルにおける双曲線的降下を説明する古典的バイアス・バリアンス分解の限界を解消すること。
• 古典理論が説明できない補間閾値付近でのテスト誤差ピークの根本的要因を特定すること。
• 複数のランダム要因（サンプリング、初期化、ラベルノイズ）を考慮する対称的かつ解釈可能なばらつき分解を構築すること。
• テスト誤差の発散がラベルノイズや個々の要因ではなく、サンプリングと初期化の相互作用項に起因することを示すこと。
• バギングやモデル平均化といったアンサンブル手法が、問題のばらつき成分を除去できることを示すこと。

提案手法

• ANOVA風の直交分解を用いて、条件付け順序に依存しない対称的で多次元のバイアス・バリアンス分解を導入する。
• 高次元漸近解析を可能にするために、ランダム特徴量カーネル回帰にこの分解を適用する。
• バイアスおよびばらつき成分の明示的表現を導出：$B$, $V_P$, $V_X$, $V_{X\boldsymbol{\rho}}$, $V_{PX}$, および $V_{PX\boldsymbol{\rho}}$。
• 幅と標本サイズが大きい極限における漸近的解析を実施し、各ばらつき項の挙動を特定する。
• 補間閾値（$\phi = \psi$）における発散項を分解によって特定し、モデルパラメータ依存性を分析する。
• 先行の逐次的分解（例：d'Ascoliら）と比較し、単一要因への寄与を誤って割り当てる解釈的欠陥を指摘する。

実験結果

リサーチクエスチョン

• RQ1 過パラメータ化モデルにおいて、バイアスが低いにもかかわらず補間閾値でなぜテスト誤差がピークを示すのか？
• RQ2 双曲線的降下における非単調なばらつき行動に寄与する具体的なランダム要因は何か？
• RQ3 対称的で多次元のばらつき分解は、逐次的分解よりも誤差ピークの原因をより明確に明らかにできるか？
• RQ4 バギングやアンサンブル化といった標準的手法が、補間付近でのテスト誤差ピークをなぜ低減するのか？
• RQ5 サンプリングと初期化の相互作用項が、なぜ発散するばらつき成分を生じるのか？

主な発見

• バイアスはモデル幅が増加するにつれて単調に減少し、古典理論と整合的である。
• ばらつき成分 $V_{PX}$ および $V_{PX\boldsymbol{\rho}}$ は、ラベルノイズが存在しない状況でも補間閾値（$\phi = \psi$）で発散する。
• 発散はラベルノイズや個々の要因ではなく、サンプリングと初期化の相互作用に起因する。
• 発散する項 $V_{PX}$ および $V_{PX\boldsymbol{\rho}}$ は、訓練サンプルの周辺化（バギング）または初期パラメータの周辺化（アンサンブル学習）によって除去可能である。
• 対称的分解は、先行の逐次的分解とは異なり、相互作用項を根本的要因として唯一特定可能である。
• 総ばらつきとバイアスは有限のままであるが、テスト誤差のピークは古典的分解が考慮しない相互作用効果に起因する。