[论文解读] Early Stopping in Deep Networks: Double Descent and How to Eliminate it

Reinhard Heckel, Fatih Yılmaz|arXiv (Cornell University)|Jul 20, 2020

Stochastic Gradient Optimization Techniques参考文献 33被引用 7

一句话总结

该论文指出，深度网络中的周期级双下降现象并非源于通过早停控制模型复杂度，而是由于不同网络层以异步学习率训练所导致的多个偏差-方差权衡的叠加。通过理论和实证分析表明，通过缩放各层特定的学习率可消除这种双下降现象，从而显著提升在过参数化模型上的早停性能。

ABSTRACT

Over-parameterized models, such as large deep networks, often exhibit a double descent phenomenon, whereas a function of model size, error first decreases, increases, and decreases at last. This intriguing double descent behavior also occurs as a function of training epochs and has been conjectured to arise because training epochs control the model complexity. In this paper, we show that such epoch-wise double descent arises for a different reason: It is caused by a superposition of two or more bias-variance tradeoffs that arise because different parts of the network are learned at different epochs, and eliminating this by proper scaling of stepsizes can significantly improve the early stopping performance. We show this analytically for i) linear regression, where differently scaled features give rise to a superposition of bias-variance tradeoffs, and for ii) a two-layer neural network, where the first and second layer each govern a bias-variance tradeoff. Inspired by this theory, we study two standard convolutional networks empirically and show that eliminating epoch-wise double descent through adjusting stepsizes of different layers improves the early stopping performance significantly.

研究动机与目标

• 理解过参数化深度网络中周期级双下降的根本原因。
• 挑战既有的假设，即早停通过控制模型复杂度导致双下降。
• 表明双下降源于具有不同学习动态的各层之间叠加的偏差-方差权衡。
• 提出一种可扩展的、按层调整的学习率策略，以消除周期级双下降。
• 在标准CNN上实证验证该方法，展示其在早停性能上的提升。

提出的方法

• 通过分析特征缩放不同的线性回归模型，表明偏差-方差权衡的叠加会导致双下降。
• 推导两层ReLU网络在早停情况下的风险上界，表明其受各层初始化和学习率的控制。
• 提出一个理论框架，将各层特定的学习率和步长与双下降的出现或抑制联系起来。
• 提出一种实用方法：按层缩放学习率，以均衡网络不同组件的有效更新速度。
• 在5层CNN和ResNet-18上进行实证评估，使用CIFAR-10数据集并加入20%标签噪声进行训练。
• 采用在测试误差最小时进行早停的方式，比较学习率调整前后的性能。

实验结果

研究问题

• RQ1 为何在过参数化深度网络中，双下降会随训练周期数而出现？
• RQ2 如先前推测，周期级双下降是否由早停实现的有效模型复杂度控制所导致？
• RQ3 能否通过调整不同层之间的学习率来消除双下降？
• RQ4 各层特定的初始化和学习率如何影响训练过程中的风险曲线？
• RQ5 消除周期级双下降是否能提升标准架构上的早停性能？

主要发现

• 周期级双下降并非源于模型复杂度控制，而是由于具有不同学习速度的各层之间偏差-方差权衡的叠加所致。
• 在特征缩放不同的线性回归中，早停的最小二乘法表现出双下降，这是由于偏差-方差曲线的重叠。
• 对于两层ReLU网络，早停风险的上界可表示为多个重叠的偏差-方差权衡之和，每一项由各层特定的初始化和学习率决定。
• 通过按层调整学习率以平衡其有效更新速度，可在理论上和实践中消除双下降。
• 在5层CNN和ResNet-18上的实证结果表明，学习率缩放使早停时的测试误差最高降低30%，相比标准训练。
• 该方法通过使模型更早收敛至全局最小值而不发生过拟合，从而改善泛化性能。