[论文解读] From Tempered to Benign Overfitting in ReLU Neural Networks

Guy Kornowski, Gilad Yehudai+1 more|arXiv (Cornell University)|May 24, 2023

Machine Learning and Data ClassificationComputer Science被引用 3

一句话总结

本文从理论上研究了在噪声数据上训练的两层ReLU神经网络中，从温和过拟合到良性过拟合的转变。结果表明，输入维度在决定过拟合类型中起关键作用：在低维情况下（例如 d=1）过拟合为温和型，但随着维度增加，过拟合转变为良性，且在标准假设下，高维情况下干净测试误差会衰减至零。

ABSTRACT

Overparameterized neural networks (NNs) are observed to generalize well even when trained to perfectly fit noisy data. This phenomenon motivated a large body of work on "benign overfitting", where interpolating predictors achieve near-optimal performance. Recently, it was conjectured and empirically observed that the behavior of NNs is often better described as "tempered overfitting", where the performance is non-optimal yet also non-trivial, and degrades as a function of the noise level. However, a theoretical justification of this claim for non-linear NNs has been lacking so far. In this work, we provide several results that aim at bridging these complementing views. We study a simple classification setting with 2-layer ReLU NNs, and prove that under various assumptions, the type of overfitting transitions from tempered in the extreme case of one-dimensional data, to benign in high dimensions. Thus, we show that the input dimension has a crucial role on the type of overfitting in this setting, which we also validate empirically for intermediate dimensions. Overall, our results shed light on the intricate connections between the dimension, sample size, architecture and training algorithm on the one hand, and the type of resulting overfitting on the other hand.

研究动机与目标

• 为理解神经网络在非线性设置下是否表现出温和或良性过拟合，填补理论空白。
• 研究输入维度、样本大小和网络结构如何影响在噪声数据上训练的ReLU网络的过拟合类型。
• 在单位球面上输入均匀分布的简单二分类设置下，对过拟合行为进行严格表征。
• 建立条件，使插值ReLU网络实现良性过拟合而非温和过拟合。

提出的方法

• 分析在带标签噪声的二分类问题上，使用重尾损失函数训练的两层ReLU神经网络。
• 通过收敛到最大间隔问题的KKT点来建模训练动态，利用已知的隐式偏差结果。
• 使用几何概率方法界定单位球面上的测试误差，特别关注网络误分类的输入比例。
• 应用高维球面上的集中不等式（例如引理D.1和D.2）分析网络权重与数据点的对齐情况。
• 通过分析随机输入位于决策边界错误一侧的概率，推导出干净测试误差的上界。
• 证明在高维情况下，误分类概率随负样本数量呈指数衰减，从而导致良性过拟合。

实验结果

研究问题

• RQ1 输入维度是否决定了ReLU网络在插值区间内表现出温和还是良性过拟合？
• RQ2 我们能否从理论上解释低维ReLU网络中观察到的温和过拟合现象？
• RQ3 在不同输入维度下，网络的泛化误差如何随标签噪声水平 p 变化？
• RQ4 在何种条件下，使用重尾损失函数训练的两层ReLU网络尽管完美拟合了噪声数据，仍能实现近似最优泛化？

主要发现

• 在一维输入空间中，干净测试误差的尺度为 Θ(poly(p))，证实了与噪声水平成比例的温和过拟合。
• 在高维输入中（d ≥ 3），随着输入维度增加，干净测试误差衰减至零，表明出现良性过拟合。
• 当网络收敛到最大间隔问题的局部最小值时，干净测试误差被限制在 O(1/2^k) 内，其中 k 为负样本数量，意味着误分类概率呈指数衰减。
• 从温和到良性过拟合的转变主要由输入维度驱动，而非网络宽度，只要宽度足以实现插值即可。
• 实验验证确认了在中间维度下理论预测的转变，显示误差随噪声的缩放从线性逐渐过渡为次线性。
• 单位球面上随机输入位于决策边界错误一侧的概率被限制在 1/2 - 1/2^k 以内，该值在高维情况下可忽略不计。