[論文レビュー] Benign overfitting in the large deviation regime

Geoffrey Chinot, Matthieu Lerasle|arXiv (Cornell University)|Mar 12, 2020

Statistical Methods and Inference参考文献 28被引用数 9

ひとこと要約

本稿では、大偏差領域において、高確率 $1 - e^{-\zeta n}$ で成り立つ予測リスクの境界がゼロに収束することを示している。著者らは、最小ノルム補間推定量の新しい局所化解析を導入し、2次損失、ハーバー損失、絶対損失のためのタイトなリスク境界を導出することで、ロバスト統計および標準統計における先行研究を拡張している。

ABSTRACT

We investigate the benign overfitting phenomenon in the large deviation regime where the bounds on the prediction risk hold with probability $1-e^{-\zeta n}$, for some absolute constant $\zeta$. We prove that these bounds can converge to $0$ for the quadratic loss. We obtain this result by a new analysis of the interpolating estimator with minimal Euclidean norm, relying on a preliminary localization of this estimator with respect to the Euclidean norm. This new analysis complements and strengthens particular cases obtained in previous works for the square loss and is extended to other loss functions. To illustrate this, we also provide excess risk bounds for the Huber and absolute losses, two widely spread losses in robust statistics.

研究の動機と目的

• 良性過適合が大偏差領域において予測リスクがゼロに収束する条件を理解すること。
• 2次損失の既存のリスク境界を、ハーバー損失や絶対損失などのロバスト損失関数へと拡張すること。
• 従来の手法を上回る、最小ノルム補間推定量の洗練された解析を構築すること。

提案手法

• ユークリッドノルムに関する最小ノルム補間推定量のための新しい局所化技術を導入する。
• 高確率境界が確率 $1 - e^{-\zeta n}$ で成り立つ大偏差領域において推定量を分析する。
• 2次損失の予測リスク境界を導出し、ハーバー損失および絶対損失へと分析を拡張する。
• 集中と局所化の議論を用いて、高次元設定における推定量の挙動を制御する。
• 統計的学習理論およびランダム行列理論の道具を適用して、リスク境界の収束を確立する。

実験結果

リサーチクエスチョン

• RQ1 良性過適合は、大偏差確率境界のもとで予測リスクがゼロに収束するか？
• RQ2 高確率領域において、ユークリッドノルムで局所化された最小ノルム補間推定量はどのように振る舞うか？
• RQ3 2次損失の分析を、ハーバー損失や絶対損失のようなロバスト損失へどの程度まで拡張できるか？
• RQ4 これらの損失のリスク境界が大偏差領域でゼロに収束する条件は何か？

主な発見

• 2次損失の予測リスクは、確率 $1 - e^{-\zeta n}$ で大偏差領域においてゼロに収束する。
• 提案された局所化技術により、最小ノルム補間推定量の制御がより厳密になり、従来の境界を上回る。
• ハーバー損失および絶対損失の過剰リスク境界が確立され、良性過適合の適用範囲がロバスト統計へと拡張された。
• 解析により、良性過適合が2次損失に限定されるのではなく、より広範な損失関数に対しても成立することが確認された。