[论文解读] More is Better in Modern Machine Learning: when Infinite Overparameterization is Optimal and Overfitting is Obligatory

James B. Simon, Dhruva Karkada+2 more|arXiv (Cornell University)|Nov 24, 2023

Machine Learning and Data Classification被引用 5

一句话总结

该论文通过证明在随机特征回归中，随着模型宽度和训练数据规模的增加，测试误差单调下降，且无限宽度为最优，从而为过参数化深度学习的实证成功提供了理论依据。此外，研究进一步表明，对于具有幂律特征值结构的任务（在真实视觉任务中普遍存在），最优性能要求训练误差趋近于零，使得过拟合不仅可接受，反而成为必要。

ABSTRACT

In our era of enormous neural networks, empirical progress has been driven by the philosophy that more is better. Recent deep learning practice has found repeatedly that larger model size, more data, and more computation (resulting in lower training loss) improves performance. In this paper, we give theoretical backing to these empirical observations by showing that these three properties hold in random feature (RF) regression, a class of models equivalent to shallow networks with only the last layer trained. Concretely, we first show that the test risk of RF regression decreases monotonically with both the number of features and the number of samples, provided the ridge penalty is tuned optimally. In particular, this implies that infinite width RF architectures are preferable to those of any finite width. We then proceed to demonstrate that, for a large class of tasks characterized by powerlaw eigenstructure, training to near-zero training loss is obligatory: near-optimal performance can only be achieved when the training error is much smaller than the test error. Grounding our theory in real-world data, we find empirically that standard computer vision tasks with convolutional neural tangent kernels clearly fall into this class. Taken together, our results tell a simple, testable story of the benefits of overparameterization, overfitting, and more data in random feature models.

研究动机与目标

• 从理论上解释深度学习中的一种实证趋势：更大的模型、更多的数据以及更低的训练损失能提升性能。
• 解决一个悖论：为何在实践中，过参数化且未正则化的模型会优于经典的、经过正则化的模型。
• 识别出一类广泛的学习任务，在该类任务中，最优泛化要求训练损失趋近于零，使得过拟合并非缺陷，而是必要条件。
• 通过验证标准计算机视觉任务确实表现出实现无限过参数化和近零训练损失最优性的所需幂律特征值结构，将理论发现与真实世界深度学习联系起来。

提出的方法

• 将随机特征（RF）回归作为仅训练最后一层的浅层神经网络的代理模型进行分析。
• 基于任务的特征值结构（特别是采用岭正则化时）推导出训练误差和测试误差的闭式表达式。
• 利用高斯复杂度和核岭回归（KRR）理论，刻画高维、过参数化设定下的泛化误差。
• 提出“强制过拟合”（obligatory overfitting）的概念——仅当训练误差远小于测试误差时，才能实现最优测试误差。
• 通过渐近分析表明，在最优正则化条件下，测试风险随模型宽度和样本规模的增加而单调递减。
• 通过实证分析卷积神经正切核在标准视觉基准上的特征值结构，验证理论预测。

Figure 1: At optimal ridge, more features monotonically improves test performance. Train and test errors for RF regression closely match Equations 3 and 4 for both synthetic Gaussian data and CIFAR10 with random ReLU features. Plots show traces with $n=256$ samples and varying number of features $k$

实验结果

研究问题

• RQ1 在过参数化模型中，增加模型宽度和训练数据规模是否总是能改善测试误差？
• RQ2 在何种条件下，过拟合不仅可容忍，反而成为最优泛化的必要条件？
• RQ3 “越多越好”现象在深度学习中能否被理论证明适用于广泛的学习任务？
• RQ4 现实世界中的计算机视觉任务是否表现出使无限过参数化和近零训练损失最优的特征值结构？
• RQ5 在最优性能的必要性方面，是否存在“良性过拟合”与“强制过拟合”之间的理论区分？

主要发现

• 在随机特征回归中，当岭正则化参数被最优调节时，测试风险随特征数量和训练样本数量的增加而单调下降，表明无限宽度为最优。
• 对于具有幂律特征值结构的任务（即特征值按幂律衰减），最优泛化要求训练误差远小于测试误差，因此过拟合是强制性的。
• 随着模型宽度增加，最优拟合比（训练误差 / 测试误差）趋近于零，表明在此类任务中，插值不仅无害，反而是最优性能的必要条件。
• 对标准视觉任务上卷积神经正切核的实证分析确认了幂律特征值结构，验证了实现无限过参数化和过拟合最优性的理论条件。
• 理论结果基于基于核特征值和高斯复杂度的闭式误差估计推导得出，在幂律指数的温和假设下，获得了严格的渐近界。
• 分析表明，过参数化的收益并非渐近性质，而是立竿见影的：即使有限但较大的宽度也优于较小宽度，且性能随宽度和数据规模的增加而单调提升。

Figure 2: Overfitting is obligatory in standard computer vision tasks. We run KRR with convolutional NTKs on three tasks using varying ridge parameter and label noise, measuring test error and the fitting ratio $\mathcal{R}_{\textnormal{tr}/\textnormal{te}}$ . We then compare to theoretical predicti