[论文解读] Large Learning Rate Tames Homogeneity: Convergence and Balancing Effect

Yuqing Wang, Minshuo Chen+2 more|arXiv (Cornell University)|Oct 7, 2021

Stochastic Gradient Optimization Techniques参考文献 45被引用 4

一句话总结

本文在齐次矩阵分解中建立了大学习率下梯度下降的收敛性与隐式偏差，证明了大学习率会引发一种“平衡效应”——即使从非平衡初始化出发，也能促使因子 X 和 Y 的范数趋于相等。理论表明收敛可超越标准的 2/L 临界值，平衡程度由 2/h 量化，并通过标量和一般矩阵情形的数值实验得到验证。

ABSTRACT

Recent empirical advances show that training deep models with large learning rate often improves generalization performance. However, theoretical justifications on the benefits of large learning rate are highly limited, due to challenges in analysis. In this paper, we consider using Gradient Descent (GD) with a large learning rate on a homogeneous matrix factorization problem, i.e., $\min_{X, Y} \|A - XY^ op\|_{\sf F}^2$. We prove a convergence theory for constant large learning rates well beyond $2/L$, where $L$ is the largest eigenvalue of Hessian at the initialization. Moreover, we rigorously establish an implicit bias of GD induced by such a large learning rate, termed 'balancing', meaning that magnitudes of $X$ and $Y$ at the limit of GD iterations will be close even if their initialization is significantly unbalanced. Numerical experiments are provided to support our theory.

研究动机与目标

• 为了从理论上解释大学习率在深度学习中经验成功的根源，尤其是在非凸优化中的表现。
• 分析齐次矩阵分解问题中大学习率下的梯度下降，该问题可建模 ReLU 网络及其他深度学习架构。
• 建立当学习率超过标准 2/L 临界值时梯度下降的收敛性，特别是可达到约 4/L 的范围。
• 严格刻画大学习率的隐式偏差，称为“平衡”，即 X 和 Y 的范数趋于相近。
• 以 Frobenius 范数差 ||X−Y||_F² 衡量平衡程度，表明其可依 h 的变化被任意缩小。

提出的方法

• 分析在齐次矩阵分解问题上的梯度下降：min_X,Y ||A − XYᵀ||_F²，采用恒定的大学习率 h。
• 利用奇异值分解（SVD）将一般矩阵情形约化为对角问题，通过变换变量 R 和 S 实现分析。
• 推导初始化处的 Hessian 矩阵，并对最大特征值 L 进行上界估计，以定义收敛的临界阈值 h ≈ 4/L。
• 对迭代映射 I − hM 进行稳定性分析，其中 M 是由 Hessian 衍生的矩阵，从而推导收敛条件。
• 建立收敛时 ||X||_F² + ||Y||_F² ≤ 2/(ch)，其中 c 是依赖于 n 和 d 的常数，进而导出平衡的上界。
• 利用全局最小值非孤立且鞍点不稳定的事实，说明对几乎所有初始值，收敛均发生于稳定不动点。

实验结果

研究问题

• RQ1 在齐次矩阵分解问题中，当学习率较大（h > 2/L）时，梯度下降是否收敛？
• RQ2 大学习率是否诱导出对平坦最小值的隐式偏差，其定义为 X 和 Y 范数的平衡？
• RQ3 该平衡效应能否被量化？其依赖于学习率 h 的方式如何？
• RQ4 在大 h 条件下，收敛时 Frobenius 范数差 ||X − Y||_F² 的理论上限是多少？
• RQ5 当矩阵 A 为各向同性或对角矩阵时，收敛与平衡行为如何变化？

主要发现

• 在标量分解情形（n=1）中，当 h ≲ 4/L 时，GD 收敛至全局最小值，且满足 ||X||_F² + ||Y||_F² ≤ 2/h。
• 平衡效应通过 ||X − Y||_F² ≤ 2/h − 2A 量化，表明随着 h 增大，差值可被任意缩小。
• 在一般情形（n, d 任意）中，极限平衡受 ||X||_F² + ||Y||_F² ≤ 2/(ch) 限制，其中 c > 0 为与 n、d 和 h 无关的常数。
• 通过 SVD 将理论推广至一般矩阵，将问题约化为对角情形，从而证明收敛与平衡性。
• 数值实验支持理论发现，即使从高度非平衡的初始化出发，||X − Y||_F² 也显著减小。
• 收敛区间远超经典 2/L 临界值，h ≈ 4/L 不仅可行且具有优势。