[论文解读] Benign Overfitting and Noisy Features

Li Zhu, Weijie Su+1 more|arXiv (Cornell University)|Aug 6, 2020

Stochastic Gradient Optimization Techniques参考文献 33被引用 6

一句话总结

本文将随机特征模型中的良性过拟合解释为特征中噪声所导致的隐式正则化结果。通过分析最小范数最小二乘估计器，作者推导出过剩风险的紧致界，表明即使在过参数化且训练误差为零的情况下，噪声仍能实现双曲下降和最优泛化。

ABSTRACT

Modern machine learning models often exhibit the <i>benign overfitting</i> phenomenon, which has recently been characterized using the <i>double descent</i> curves. In addition to the classical U-shaped learning curve, the learning risk undergoes another descent as we increase the number of parameters beyond a certain threshold. In this article, we examine the conditions under which benign overfitting occurs in the random feature (RF) models, that is, in a two-layer neural network with fixed first layer weights. Adopting a novel view of random features, we show that benign overfitting emerges because of the noise residing in such features. The noise may already exist in the data and propagates to the features, or it may be added by the user to the features directly. Such noise plays an implicit yet crucial regularization role in the phenomenon. In addition, we derive the explicit tradeoff between the number of parameters and the prediction accuracy, and for the first time demonstrate that overparameterized model can achieve the <i>optimal learning rate</i> in the minimax sense. Finally, our results indicate that the learning risk for overparameterized models has multiple, instead of double descent behavior, which is empirically verified in recent works. Supplementary materials for this article are available online.

研究动机与目标

• 理解在训练误差为零但泛化能力强大的过参数化模型中，良性过拟合的机制。
• 研究特征中的噪声（来自数据或人为添加）作为隐式正则化驱动因素的作用。
• 在弱假设下，为随机特征模型中的过剩风险提供精确的上下界。
• 从噪声衰减率与特征结构的角度，刻画双曲下降现象。
• 将现代深度学习泛化理论的理解拓展至经典偏差-方差权衡之外。

提出的方法

• 分析固定第一层权重的随机特征模型中的最小范数最小二乘（MNLS）估计器。
• 将特征矩阵建模为确定性分量与噪声矩阵 ξ 的和，其中 ξ 表示特征级别的噪声。
• 利用随机矩阵理论研究 Gram 矩阵 s/n ZᵀZ 的特征值行为，特别是最小特征值 µₙ。
• 应用浓度不等式与矩阵扰动理论，对正则化 Gram 矩阵的逆进行界约束。
• 通过分析噪声与逆 Gram 矩阵乘积的迹，推导出过剩风险的上下界。
• 通过扰动 Gram 矩阵特征值中的 σ₀²/n 项，引入依赖于噪声的正则化效应，将噪声与隐式偏差联系起来。

实验结果

研究问题

• RQ1 随机特征中的噪声如何在过参数化模型中促成良性过拟合？
• RQ2 在最小范数最小二乘估计器实现低泛化误差（尽管训练误差为零）的条件下，其成立的条件是什么？
• RQ3 特征噪声在塑造随机特征模型中双曲下降曲线方面起着何种精确作用？
• RQ4 双曲下降行为能否通过特征中噪声诱导的隐式正则化来解释？
• RQ5 特征噪声的衰减率如何影响泛化性能以及风险最小值的位置？

主要发现

• 特征中的噪声（ξ）起到了关键的隐式正则化作用，使得即使在插值区域也能实现低泛化误差。
• 过剩风险的上下界均与 O(σ² Tr(Σ) s / n²) 成比例，明确体现了对噪声方差与特征维度的依赖。
• 正则化 Gram 矩阵的最小特征值 µₙ(Aξ) 被下界控制在 1/(c₅n) 以内，确保了 MNLS 估计器的可逆性与稳定性。
• 双曲下降曲线自然地源于特征噪声与过参数化之间的相互作用，风险在参数数量超过 n 后继续下降。
• 该分析在弱假设下成立：无需对数据假设为高斯或次高斯分布，对核函数与特征结构仅需较弱条件。
• 结果表明，通过调节特征噪声的衰减率，可实现最优偏差-方差权衡，为深度学习架构的设计提供了新原则。