[论文解读] Direction Matters: On the Implicit Bias of Stochastic Gradient Descent with Moderate Learning Rate

Jingfeng Wu, Difan Zou+2 more|arXiv (Cornell University)|Nov 4, 2020

Stochastic Gradient Optimization Techniques参考文献 48被引用 6

一句话总结

该论文揭示，当学习率适中时，随机梯度下降（SGD）表现出明显的方向性偏差——沿数据矩阵的大特征值方向收敛，而梯度下降（GD）则倾向于小特征值方向。这种偏差在早停设置下导致更好的泛化性能，解释了SGD在实践中优于GD的原因，以及为何学习率与批量大小呈线性缩放的超参数调优实践。

ABSTRACT

Understanding the algorithmic bias of \\emph{stochastic gradient descent} (SGD) is one of the key challenges in modern machine learning and deep learning theory. Most of the existing works, however, focus on \\emph{very small or even infinitesimal} learning rate regime, and fail to cover practical scenarios where the learning rate is \\emph{moderate and annealing}. In this paper, we make an initial attempt to characterize the particular regularization effect of SGD in the moderate learning rate regime by studying its behavior for optimizing an overparameterized linear regression problem. In this case, SGD and GD are known to converge to the unique minimum-norm solution; however, with the moderate and annealing learning rate, we show that they exhibit different \\emph{directional bias}: SGD converges along the large eigenvalue directions of the data matrix, while GD goes after the small eigenvalue directions. Furthermore, we show that such directional bias does matter when early stopping is adopted, where the SGD output is nearly optimal but the GD output is suboptimal. Finally, our theory explains several folk arts in practice used for SGD hyperparameter tuning, such as (1) linearly scaling the initial learning rate with batch size; and (2) overrunning SGD with high learning rate even when the loss stops decreasing.

研究动机与目标

• 为了表征中等学习率范围内SGD的隐式偏差，该范围下现有小学习率理论无法解释实际优势。
• 在过参数化的线性回归中比较SGD与GD的收敛方向，揭示其截然不同的方向偏好。
• 解释为何在实践中SGD的泛化性能优于GD，尤其是在应用早停和中等学习率时。
• 为常见的SGD超参数调优实践（如学习率与批量大小的线性缩放）提供理论依据。

提出的方法

• 在过参数化的线性回归中使用SGD和GD，采用中等且逐渐衰减的学习率进行分析。
• 通过数据矩阵的特征分解推导收敛方向行为，表明SGD偏好大特征值，GD偏好小特征值。
• 使用相对瑞利商比较非凸神经网络中的收敛方向，以Hessian算子范数进行归一化。
• 采用幂迭代法估计神经网络实验中最大Hessian特征值，用于相对瑞利商的计算。
• 在合成数据集和真实数据集（如FashionMNIST）上进行实证评估，比较不同学习率和批量大小下的SGD与GD表现。
• 对10次重复运行的结果进行配对t检验，验证性能差异的统计显著性。

实验结果

研究问题

• RQ1 在过参数化的线性回归中，中等学习率的SGD与GD在收敛方向上有何不同？
• RQ2 为何在应用早停时，SGD的泛化性能优于GD，尽管两者均收敛至最小范数解？
• RQ3 中等学习率下SGD的方向性偏差如何影响实际深度学习设置中的泛化性能？
• RQ4 SGD超参数调优实践（如学习率与批量大小的线性缩放）的理论基础是什么？

主要发现

• 中等学习率的SGD沿数据矩阵的大特征值方向收敛，而GD则沿小特征值方向收敛。
• 在早停设置下，SGD的方向性偏差导致其测试准确率显著优于GD，配对t检验的p值为0.0043。
• 在FashionMNIST数据集上，SGD的平均测试准确率达到82.65%，优于GD（81.83%）和小学习率的SGD（81.77%）。
• 该方向性偏差解释了为何在无显式正则化的情况下，SGD在实践中泛化性能优于GD。
• 理论结果支持将初始学习率与批量大小线性缩放的常见做法，因为该方法可保持相同的收敛方向偏差。
• 在损失下降平台期后继续训练SGD（即提高学习率），可进一步提升泛化性能，与方向性偏差效应一致。