[論文レビュー] More Data Can Hurt for Linear Regression: Sample-wise Double Descent

Preetum Nakkiran|arXiv (Cornell University)|Dec 16, 2019

Random Matrices and Applications参考文献 12被引用数 42

ひとこと要約

この論文は、等方ガウス共分散を持つ過剰パラメータ化された線形回帰を分析し、テストリスクがサンプル数の関数として単調に増減しない可能性があることを示す。n = d の近傍でバイアス−分散のトレードオフによりピークに達する。

ABSTRACT

In this expository note we describe a surprising phenomenon in overparameterized linear regression, where the dimension exceeds the number of samples: there is a regime where the test risk of the estimator found by gradient descent increases with additional samples. In other words, more data actually hurts the estimator. This behavior is implicit in a recent line of theoretical works analyzing "double-descent" phenomenon in linear models. In this note, we isolate and understand this behavior in an extremely simple setting: linear regression with isotropic Gaussian covariates. In particular, this occurs due to an unconventional type of bias-variance tradeoff in the overparameterized regime: the bias decreases with more samples, but variance increases.

研究の動機と目的

• 過剰パラメータ化された線形モデルにおける非単調なテストリスクの理解を促進する。
• データ追加が性能を害するサンプルサイズ領域を分離する。
• 現象を説明する直感と近似的なバイアス・分散の表現を提供する。

提案手法

• 最小ノルムリグリレス回帰推定量（等価的には最小二乗法に対する勾配降下法）を研究する。
• 過剰パラメータ化領域での過剰リスクをバイアスと分散の成分に分解し、近似表現B_nとV_nを導出する。
• データ行列Xの条件付けとTr((XX^T)^{-1})に対する影響を分析する。
• 等方性ガウス共因子X ~ N(0,I_d)とy = ⟨x,β⟩ + η、||β||_2 ≤ 1を用いる。
• n ≤ dの領域での閉形式近似を提供し、n > dに対する欠乏パラメータ化結果を参照する。

実験結果

リサーチクエスチョン

• RQ1 サンプル数nを固定したとき、テストリスクは次元dに対してどのように変化するか（最小ノルム補間推定量）？
• RQ2 過剰パラメータ化領域（n ≤ d）における過剰リスクのバイアスと分散の寄与はどのようになるか？
• RQ3 データ行列Xが臨界領域付近のn ≈ dでなぜ条件数が悪化し、分散が高まるのか？
• RQ4 単一のサンプルを追加するとTr((XX^T)^{-1})と全体のリスクにどのような影響を与えるか？
• RQ5 有限のd（例: d = 1000）での理論近似は経験的観察と一致するか？

主な発見

• テストリスクはnに対して単調には減少せず、最初に減少し、n = dでピークに達し、その後nが増えると再度減少する。
• 過剰パラメータ化領域では、バイアスB_nはnとともに減少する一方、分散V_nは増加し、臨界点付近で支配的となる。
• γ = n/d < 1 に対する近似過剰リスクは E[R̄(β̂)] ≈ (1 − γ)||β||^2 + σ^2 γ/(1−γ)。
• リスクのピークはn ≈ dのときXの条件付けが悪化し、ノイズ項X^†ηが高いノルムで膨張することに結びつく。
• 分散のトレース項は Tr((XX^T)^{-1}) → γ/(1−γ) と、dがn = γdとして増加するとき説明され、分散の急増を説明する。
• n ≤ d領域についての有限サンプルの厳密なバイアスと分散の表現を提供する。