[论文解读] Gradient correlation is a key ingredient to accelerate SGD with momentum

Julien Hermant, Marien Renaud+3 more|arXiv (Cornell University)|Oct 9, 2024

Radiation Therapy and Dosimetry被引用 1

一句话总结

该论文将梯度相关性（通过 RACOGA 指标量化）识别为在凸设置下，Stochastic Nesterov Accelerated Gradient (SNAG) 相较于标准 SGD 实现加速的关键因素。通过将正梯度相关性与 Strong Growth Condition (SGC) 关联，作者在理论上证明了 SNAG 的更快收敛性，并通过实验验证了 SNAG 能够避免导致确定性方法停滞的低曲率、负相关的梯度陷阱。

ABSTRACT

Empirically, it has been observed that adding momentum to Stochastic Gradient Descent (SGD) accelerates the convergence of the algorithm. However, the literature has been rather pessimistic, even in the case of convex functions, about the possibility of theoretically proving this observation. We investigate the possibility of obtaining accelerated convergence of the Stochastic Nesterov Accelerated Gradient (SNAG), a momentum-based version of SGD, when minimizing a sum of functions in a convex setting. We demonstrate that the average correlation between gradients allows to verify the strong growth condition, which is the key ingredient to obtain acceleration with SNAG. Numerical experiments, both in linear regression and deep neural network optimization, confirm in practice our theoretical results.

研究动机与目标

• 为解决长期以来关于动量为何在实践中加速 SGD 的理论空白，尽管文献中对此存在质疑。
• 刻画在凸插值设置下，Stochastic Nesterov Accelerated Gradient (SNAG) 相较于 SGD 实现加速的条件。
• 将梯度相关性识别为 Strong Growth Condition (SGC) 的关键促成因素，而 SGC 是 SNAG 加速所必需的。
• 通过梯度相关性的视角分析小批量大小对 SNAG 性能的影响。
• 在 SGC 条件下，为 SNAG 提供新的几乎必然收敛速率，扩展先前的研究成果。

提出的方法

• 引入 RACOGA（梯度相对平均相关性）作为衡量数据点间梯度平均相关性的指标。
• 证明正 RACOGA 值意味着满足 Strong Growth Condition (SGC)，而 SGC 是已知的 SNAG 加速机制。
• 推导出 RACOGA 与 SNAG 收敛速率之间的理论边界，表明更高的梯度相关性可提升加速效果。
• 分析小批量大小对 RACOGA 的影响，从而影响 SNAG 性能，表明更大的小批量可增强相关性与加速效果。
• 通过在线性回归和深度神经网络上的数值实验，验证当 RACOGA 为正时，SNAG 的表现优于 SGD。
• 通过轨迹可视化展示，由于随机性的作用，SNAG 能够避开 GD 和 NAG 容易陷入的低曲率、负相关梯度区域。

实验结果

研究问题

• RQ1 梯度相关性能否解释在凸优化中 SNAG 相较于 SGD 的经验加速？
• RQ2 Strong Growth Condition (SGC) 在何种条件下成立，其与梯度相关性有何关联？
• RQ3 小批量大小如何影响梯度之间的相关性，从而影响 SNAG 的性能？
• RQ4 为何 SNAG 能够避免陷入确定性方法失败的低曲率、负相关梯度区域？
• RQ5 RACOGA 是否可作为现实优化中 SNAG 潜在加速的实用指标？

主要发现

• RACOGA 提供了对 Strong Growth Condition (SGC) 的新表征，表明正的平均梯度相关性意味着 SGC 的满足。
• 理论分析证实，更高的 RACOGA 值可导致 SNAG 的更快收敛速率，尤其在插值条件下更为显著。
• 数值实验表明，当 RACOGA 为正时，SNAG 在线性回归和深度神经网络训练中均优于 SGD。
• 轨迹可视化表明，由于随机性的作用，SNAG 能够避开 GD 和 NAG 容易陷入的低曲率、负相关梯度区域。
• 本文在 SGC 条件下建立了 SNAG 的新几乎必然收敛速率，扩展了 Vaswani 等人（2019）和 Gupta 等人（2023）的先前成果。
• 理论与实证结果表明，小批量大小会影响 RACOGA，更大的小批量可提升梯度相关性，从而可能增强 SNAG 的加速效果。