[論文レビュー] Bias-variance decomposition of overparameterized regression with random linear features

Jason W. Rocks, Pankaj Mehta|arXiv (Cornell University)|Mar 10, 2022

Gaussian Processes and Bayesian Inference参考文献 42被引用数 6

ひとこと要約

本稿は、ゼロ温度カビン法を用いて、ランダム線形特徴量を有する過パラメータ化線形回帰の厳密なバイアス・バリアンス分解を提供する。3つの段階的転移によって分離される3つの明確な領域を特定し、そのうち2つがトレーニング誤差がゼロの補間領域に至る。また、バリアンスが補間転移で発散するがバイアスは有限のままであることを示し、これはランダム行列理論によるヘシアン行列の小さな非ゼロ固有値が原因であることを明らかにする。

ABSTRACT

In classical statistics, the bias-variance trade-off describes how varying a model's complexity (e.g., number of fit parameters) affects its ability to make accurate predictions. According to this trade-off, optimal performance is achieved when a model is expressive enough to capture trends in the data, yet not so complex that it overfits idiosyncratic features of the training data. Recently, it has become clear that this classic understanding of the bias-variance must be fundamentally revisited in light of the incredible predictive performance of "overparameterized models" -- models that avoid overfitting even when the number of fit parameters is large enough to perfectly fit the training data. Here, we present results for one of the simplest examples of an overparameterized model: regression with random linear features (i.e. a two-layer neural network with a linear activation function). Using the zero-temperature cavity method, we derive analytic expressions for the training error, test error, bias, and variance. We show that the linear random features model exhibits three phase transitions: two different transitions to an interpolation regime where the training error is zero, along with an additional transition between regimes with large bias and minimal bias. Using random matrix theory, we show how each transition arises due to small nonzero eigenvalues in the Hessian matrix. Finally, we compare and contrast the phase diagram of the random linear features model to the random nonlinear features model and ordinary regression, highlighting the new phase transitions that result from the use of linear basis functions.

研究の動機と目的

• 標準的な教科書定義を用いて、先行研究におけるランダム特徴量モデルのバイアス・バリアンス分解における不整合を解消すること。
• ランダム線形特徴量モデルにおけるトレーニング誤差、テスト誤差、バイアス、バリアンスの解析的表現を導出すること。
• モデルの一般化行動において3つの明確な領域と3つの相転移を特定・特徴付けること。
• ランダム行列理論を用いてヘシアン行列の固有値スペクトルと相転移を結びつけること。
• 線形特徴量モデルと非線形特徴量モデルを対比し、線形基底関数が追加の相転移を可能にする役割を強調すること。

提案手法

• ゼロ温度カビン法を適用し、ランダム線形特徴量モデルにおける一般化誤差、バイアス、バリアンスを解析的に計算する。
• ヘシアン行列の固有値スペクトルを特徴付けるためのスカラー感受率に関する自己無撞着方程式を導出する。
• ランダム行列理論を用いて、Wishart積行列 Z^T Z のスペクトルを分析し、小さな非ゼロ固有値が相転移に寄与することを特定する。
• 感受率 χ を用いてゼロ固有値の割合を定義し、補間領域の特定を可能にする。
• スケーリング感受率 ν についての3次方程式を解き、固有値スペクトルおよび相転移の境界を特定する。
• 1000～150,000回の独立なシミュレーションを実施し、解析結果の妥当性を検証する。Np と M に応じて、固有値計算に Z^T Z または ZZ^T を使用する。

実験結果

リサーチクエスチョン

• RQ1 標準的な定義に従う場合、ランダム線形特徴量モデルにおけるバイアス・バリアンス分解は、特に過パラメータ化領域でどのように振る舞うか？
• RQ2 モデルの一般化誤差のランドスケープに3つの明確な領域と3つの相転移が現れる理由は何か？
• RQ3 なぜ補間転移においてバリアンスが発散するのに対し、バイアスは有限のままであるのか？この挙動はヘシアン行列の固有値スペクトルとどのように関連しているか？
• RQ4 線形特徴量が非線形特徴量モデルに存在しない追加の相転移を引き起こす理由は何か？また、小さな非ゼロ固有値は果たす役割は何か？
• RQ5 モデルの相転移と誤差行動は、データ、特徴量、パラメータの相対的スケーリング（M, Nf, Np）にどの程度依存するか？

主な発見

• ランダム線形特徴量モデルは3つの明確な領域を示す：有限のトレーニング誤差と大きなバイアスを示すアンダーパラメータ化領域、一定の最小バイアスを示す第2のアンダーパラメータ化領域、ゼロのトレーニング誤差を示す過パラメータ化（補間）領域。
• これらの領域を分かつ3つの相転移が存在する：2つの補間領域への転移（それぞれテスト誤差の発散を特徴とする）、および大きなバイアス領域と最小バイアス領域の間の転移。
• 補間領域への相転移においてバリアンスが発散するが、バイアスは有限のままである。これは、従来の研究が非標準的定義に基づいてバイアスの発散を報告していたのとは対照的である。
• 各相転移は、ヘシアン行列に小さな非ゼロ固有値が出現することに起因し、これは感受率 χ を通じて捉えられ、Wishart積行列のスペクトルと関連づけられる。
• ゼロ固有値の割合は f_zero = max(0, 1 − α_f/α_p, 1 − α_p^−1) で与えられ、補間領域の開始を決定し、Nf, Np, M の相対的スケーリングに依存する。
• 線形特徴量は、非線形特徴量モデルに存在しない追加の補間転移を引き起こす。これは、非線形基底関数が設計行列の小さな固有値を内蔵的に正則化するのに対し、線形の場合にはそのメカニズムが存在しないためである。