[论文解读] Benign Overfitting of Constant-Stepsize SGD for Linear Regression

Difan Zou, Jingfeng Wu+3 more|arXiv (Cornell University)|Mar 23, 2021

Stochastic Gradient Optimization Techniques参考文献 23被引用 8

一句话总结

该论文为过参数化线性回归中的常步长SGD（包括迭代平均或尾部平均）提供了精确的过剩风险界，揭示了偏差-方差分解：其中方差依赖于SGD特有的有效维度，偏差则依赖于初始迭代与数据协方差的对齐程度。该工作建立了匹配的下界，表明尾部平均优于迭代平均，且SGD的隐式正则化与岭回归及最小范数插值存在根本性差异。

ABSTRACT

There is an increasing realization that algorithmic inductive biases are central in preventing overfitting; empirically, we often see a benign overfitting phenomenon in overparameterized settings for natural learning algorithms, such as stochastic gradient descent (SGD), where little to no explicit regularization has been employed. This work considers this issue in arguably the most basic setting: constant-stepsize SGD (with iterate averaging or tail averaging) for linear regression in the overparameterized regime. Our main result provides a sharp excess risk bound, stated in terms of the full eigenspectrum of the data covariance matrix, that reveals a bias-variance decomposition characterizing when generalization is possible: (i) the variance bound is characterized in terms of an effective dimension (specific for SGD) and (ii) the bias bound provides a sharp geometric characterization in terms of the location of the initial iterate (and how it aligns with the data covariance matrix). More specifically, for SGD with iterate averaging, we demonstrate the sharpness of the established excess risk bound by proving a matching lower bound (up to constant factors). For SGD with tail averaging, we show its advantage over SGD with iterate averaging by proving a better excess risk bound together with a nearly matching lower bound. Moreover, we reflect on a number of notable differences between the algorithmic regularization afforded by (unregularized) SGD in comparison to ordinary least squares (minimum-norm interpolation) and ridge regression. Experimental results on synthetic data corroborate our theoretical findings.

研究动机与目标

• 理解在无显式正则化的情况下，常步长SGD在过参数化设置下的泛化行为。
• 刻画SGD在线性回归中诱导的隐式正则化，特别是与岭回归和最小范数插值的比较。
• 建立依赖于数据协方差矩阵完整特征谱的过剩风险的精确上下界。
• 分析初始权重向量与数据协方差对齐程度对泛化性能的影响。

提出的方法

• 推导了常步长SGD结合迭代平均的过剩风险界，基于数据协方差的特征谱将该界分解为偏差与方差分量。
• 提出了一种新颖的分析框架，结合矩阵扰动理论与谱分解，以刻画SGD迭代的动态行为。
• 为迭代平均建立了匹配的下界，证明了上界在常数因子范围内的紧致性。
• 通过聚焦于最终迭代，分析了尾部平均，表明其在方差控制方面优于迭代平均。
• 将误差分解为偏差与方差项，其中偏差项依赖于Hessian矩阵的特征子空间上初始权重向量的投影。
• 应用迹不等式与谱界，推导出依赖于数据协方差矩阵特征值的非渐近、有限样本风险界。

实验结果

研究问题

• RQ1 在何种条件下，常步长SGD能在过参数化线性回归中实现良性过拟合？
• RQ2 初始权重向量与数据协方差的对齐程度如何影响SGD中的泛化性能？
• RQ3 在SGD的线性回归中，迭代平均与尾部平均的相对泛化性能如何？
• RQ4 SGD的隐式正则化与岭回归及最小范数插值相比有何异同？
• RQ5 能否推导出依赖于数据协方差矩阵完整特征谱的过剩风险的精确上下界？

主要发现

• SGD结合迭代平均的过剩风险被限制为偏差与方差项之和，其中方差依赖于SGD动力学特有的有效维度。
• 偏差项被精确刻画为初始权重向量在数据协方差矩阵特征子空间上的投影，尤其与学习率和特征值密切相关。
• 为迭代平均建立了匹配的下界，确认了上界在常数因子范围内的紧致性。
• 尾部平均实现了优于迭代平均的过剩风险界，且具有近乎匹配的下界，证明了其在泛化性能上的优越性。
• SGD的隐式正则化与岭回归及最小范数插值存在显著差异，尤其体现在对低特征值方向的处理方式上。
• 在合成数据上的实验结果验证了理论发现，表明泛化性能对初始权重向量和学习率的选择极为敏感。