[论文解读] Benign overfitting in the large deviation regime

Geoffrey Chinot, Matthieu Lerasle|arXiv (Cornell University)|Mar 12, 2020

Statistical Methods and Inference参考文献 28被引用 9

一句话总结

本文证明，在大偏差概率框架下，良性过拟合可使预测风险界收敛至零，其中界以高概率 $1 - e^{-\zeta n}$ 成立。通过引入对最小范数插值估计量的新型局域化分析，作者推导出二次损失、Huber损失和绝对损失的紧致风险界，拓展了鲁棒统计与经典统计中的既有结果。

ABSTRACT

We investigate the benign overfitting phenomenon in the large deviation regime where the bounds on the prediction risk hold with probability $1-e^{-\zeta n}$, for some absolute constant $\zeta$. We prove that these bounds can converge to $0$ for the quadratic loss. We obtain this result by a new analysis of the interpolating estimator with minimal Euclidean norm, relying on a preliminary localization of this estimator with respect to the Euclidean norm. This new analysis complements and strengthens particular cases obtained in previous works for the square loss and is extended to other loss functions. To illustrate this, we also provide excess risk bounds for the Huber and absolute losses, two widely spread losses in robust statistics.

研究动机与目标

• 理解良性过拟合在大偏差框架下导致预测风险趋于零的条件。
• 将现有二次损失的风险界结果拓展至Huber损失和绝对损失等鲁棒损失函数。
• 对最小范数插值估计量进行精细化分析，以改进先前方法。

提出的方法

• 针对欧几里得范数，提出一种新的最小范数插值估计量局域化技术。
• 在大偏差框架下分析该估计量，其中高概率界成立的概率为 $1 - e^{-\zeta n}$。
• 推导出二次损失的预测风险界，并将分析扩展至Huber损失和绝对损失。
• 利用集中与局域化论证，控制高维设定下估计量的行为。
• 应用统计学习理论与随机矩阵理论中的工具，建立风险界收敛性。

实验结果

研究问题

• RQ1 在大偏差概率界下，良性过拟合是否可使预测风险收敛至零？
• RQ2 在高概率框架下，当最小范数插值估计量在欧几里得范数下被局域化时，其行为如何？
• RQ3 对二次损失的分析在多大程度上可推广至Huber损失和绝对损失等鲁棒损失？
• RQ4 在大偏差框架下，这些损失的风险界在何种条件下收敛至零？

主要发现

• 在大偏差框架下，以概率 $1 - e^{-\zeta n}$，二次损失的预测风险收敛至零。
• 所提出的局域化技术可更紧密地控制最小范数插值估计量，优于先前的界。
• 建立了Huber损失和绝对损失的过量风险界，拓展了良性过拟合在鲁棒统计中的适用性。
• 分析证实，良性过拟合不仅限于二次损失，也适用于更广泛的损失函数。