[論文レビュー] The Implicit Bias of Benign Overfitting

Ohad Shamir|arXiv (Cornell University)|Jan 27, 2022

Machine Learning and Algorithms被引用数 4

ひとこと要約

この論文は、線形モデルにおける標準的な学習手法の暗黙のバイアスを調査し、良性オーバーフィッティング（完全な訓練適合と低い一般化誤差）が、非well-specifiedな線形回帰では通常失敗することを示している。これは、最小ノルム補間予測子が一貫性を持たないためである。一方、分類では、最大マージン予測子が重み付き二乗ヒンジ損失を最小化する方向に暗黙のバイアスを持つため、任意のラベルノイズ（最大1/2まで）が存在する線形分離可能な設定でも良性オーバーフィッティングが可能である。

ABSTRACT

The phenomenon of benign overfitting, where a predictor perfectly fits noisy training data while attaining near-optimal expected loss, has received much attention in recent years, but still remains not fully understood beyond well-specified linear regression setups. In this paper, we provide several new results on when one can or cannot expect benign overfitting to occur, for both regression and classification tasks. We consider a prototypical and rather generic data model for benign overfitting of linear predictors, where an arbitrary input distribution of some fixed dimension $k$ is concatenated with a high-dimensional distribution. For linear regression which is not necessarily well-specified, we show that the minimum-norm interpolating predictor (that standard training methods converge to) is biased towards an inconsistent solution in general, hence benign overfitting will generally not occur. Moreover, we show how this can be extended beyond standard linear regression, by an argument proving how the existence of benign overfitting on some regression problems precludes its existence on other regression problems. We then turn to classification problems, and show that the situation there is much more favorable. Specifically, we prove that the max-margin predictor (to which standard training methods are known to converge in direction) is asymptotically biased towards minimizing a weighted \emph{squared hinge loss}. This allows us to reduce the question of benign overfitting in classification to the simpler question of whether this loss is a good surrogate for the misclassification error, and use it to show benign overfitting in some new settings.

研究の動機と目的

• well-specified回帰を超えた線形モデルにおける良性オーバーフィッティングが発生する条件を理解すること。
• 高次元設定における標準的な学習手法（最小ノルムおよび最大マージン予測子）の暗黙のバイアスを調査すること。
• 顕著なラベルノイズが存在する場合でも、分類において良性オーバーフィッティングが可能となる条件を特定すること。
• 二乗損失回帰を超えて、分類および非well-specifiedモデルにおける良性オーバーフィッティングの理論的理解を拡張すること。

提案手法

• プロトタイプのデータモデルを提案：k次元の入力分布に、高次元かつほぼ直交する分布を連結する。
• 次元dと標本サイズmがd ≫ mの割合で発散する際の線形回帰における最小ノルム補間予測子の漸近的挙動を分析する。
• 最小ノルム予測子の漸近的形を導出し、データがwell-specifiedでない限り、バイアス付きの解に収束することを示す。
• 分類においては、最大マージン予測子がデータ分布下で重み付き二乗ヒンジ損失を漸近的に最小化することを証明する。
• この損失を最小化することが低誤分類誤差を達成することと等価であることを利用し、線形分離可能な設定における良性オーバーフィッティングを確立する。
• 摂動解析を適用して、高次元ノイズ成分の影響が減少することを示し、やや緩い条件下でも一貫性のある推定が可能になることを示す。

実験結果

リサーチクエスチョン

• RQ1 非well-specifiedな線形回帰において、良性オーバーフィッティングが失敗する条件は何か？
• RQ2 最小ノルム補間予測子の暗黙のバイアスは、高次元回帰における一般化にどのように影響するか？
• RQ3 任意のラベルノイズが存在する場合でも、分類において良性オーバーフィッティングが発生可能か？ どのような分布仮定が必要か？
• RQ4 高次元かつ線形分離可能な設定における最大マージン予測子の暗黙のバイアスは何か？
• RQ5 入力分布の構造、特に低次元成分と高次元i.i.d.成分の組み合わせが、良性オーバーフィッティングの可能性にどのように影響するか？

主な発見

• 非well-specifiedな線形回帰では、最小ノルム補間予測子は漸近的にバイアス付きであり、一貫性が保証されないため、良性オーバーフィッティングは不可能である。
• 最小ノルム予測子は、真の最小二乗解ではなく、高次元成分の期待外積の逆行列に依存する解に収束する。
• ある問題において良性オーバーフィッティングが存在する場合、予測子のバイアスに関する構造的制約により、回帰における良性オーバーフィッティングは不可能である。
• 分類においては、最大マージン予測子がデータ分布下で重み付き二乗ヒンジ損失を最小化する方向に暗黙のバイアスを持つ。
• データ分布が線形分離可能で、特に区別された方向に関して対称性および独立性の条件を満たす場合、任意のラベルノイズレベル（最大1/2まで）で分類における良性オーバーフィッティングが成立する。
• 次元dが標本サイズmよりも十分に速く増加するという条件下で、漸近的に成立する。このとき、高次元ノイズ成分の影響は減少する。