[论文解读] Benign Overfitting without Linearity: Neural Network Classifiers Trained by Gradient Descent for Noisy Linear Data

Spencer Frei, Niladri S. Chatterji+1 more|arXiv (Cornell University)|Feb 11, 2022

Model Reduction and Neural Networks被引用 5

一句话总结

本文证明，通过梯度下降在噪声线性数据上训练的两层ReLU神经网络表现出良性过拟合——在标签被污染的情况下实现零训练损失，同时保持极小化最大误差。与以往局限于线性或核模型的研究不同，本分析在具有有限宽度的全非线性设置下，建立了非渐近保证下的良性过拟合现象。

ABSTRACT

Benign overfitting, the phenomenon where interpolating models generalize well in the presence of noisy data, was first observed in neural network models trained with gradient descent. To better understand this empirical observation, we consider the generalization error of two-layer neural networks trained to interpolation by gradient descent on the logistic loss following random initialization. We assume the data comes from well-separated class-conditional log-concave distributions and allow for a constant fraction of the training labels to be corrupted by an adversary. We show that in this setting, neural networks exhibit benign overfitting: they can be driven to zero training error, perfectly fitting any noisy training labels, and simultaneously achieve minimax optimal test error. In contrast to previous work on benign overfitting that require linear or kernel-based predictors, our analysis holds in a setting where both the model and learning dynamics are fundamentally nonlinear.

研究动机与目标

• 理解为何通过梯度下降训练的神经网络在插值噪声标签的情况下仍能良好泛化。
• 将良性过拟合理论从线性和核模型扩展到全非线性的两层ReLU神经网络。
• 分析在高维、线性可分数据中存在对抗性标签污染时的泛化性能。
• 证明梯度下降动力学控制了干净数据点的归一化间隔，即使在噪声样本被完美拟合的情况下也是如此。
• 证明良性过拟合可在远离随机初始化路径的有限宽度网络中发生，超越神经正切核范式。

提出的方法

• 分析在逻辑损失上使用梯度下降训练的两层ReLU网络，采用平滑化的漏失ReLU激活函数。
• 假设数据服从良好分离、类别条件的对数凹分布，且存在恒定比例的对抗性污染标签。
• 引入“损失比率界”以证明训练过程中所有样本的损失以大致相等的速度下降，从而防止噪声样本主导训练动态。
• 利用高维性确保数据点之间的相互正交性，从而控制干净数据点的归一化间隔。
• 通过梯度范数下界构造代理PL不等式：$\|\nabla\widehat{L}(W)\|_F \geq \frac{\gamma\|\mu\|}{4}\widehat{G}(W)$，将损失下降与间隔增长联系起来。
• 利用有限宽度网络的动力学和非渐近分析，证明在不依赖核极限的情况下收敛至零损失和最优测试误差。

实验结果

研究问题

• RQ1 在噪声数据上通过梯度下降训练的非线性神经网络中，良性过拟合是否可能发生？
• RQ2 当标签被对抗性污染时，插值型两层ReLU网络的泛化性能是否仍保持最优？
• RQ3 梯度下降动力学是否能确保在噪声样本被完美拟合的情况下，干净数据点的归一化间隔仍保持较大？
• RQ4 在有限宽度网络中，且处于神经正切核范式之外时，良性过拟合是否仍可能实现？
• RQ5 损失衰减速率与间隔动力学之间的相互作用如何在非线性模型中实现泛化？

主要发现

• 通过梯度下降训练的神经网络在存在恒定比例对抗性污染标签的数据上实现了零训练损失。
• 尽管完美插值了噪声标签，测试误差仍保持极小化最大误差，证实了在非线性设置下的良性过拟合。
• 由于所有样本的损失衰减速率保持平衡，干净数据点的归一化间隔在整个训练过程中保持较大。
• 损失比率界确保了单个样本（尤其是噪声样本）不会主导梯度下降轨迹。
• 该分析适用于有限宽度网络，表明权重从随机初始化移动了显著距离，排除了核范式行为。
• 证明建立了代理PL不等式 $\|\nabla\widehat{L}(W)\|_F \geq \frac{\gamma\|\mu\|}{4}\widehat{G}(W)$，使得在 $T = \Omega(\varepsilon^{-2})$ 步内收敛至零损失。