[论文解读] On the Convergence of Weighted AdaGrad with Momentum for Training Deep Neural Networks

Fangyu Zou, Li Shen|arXiv (Cornell University)|Aug 10, 2018

Stochastic Gradient Optimization Techniques被引用 8

一句话总结

本文提出了AdaHB和AdaNAG，这两种自适应随机优化方法分别将坐标轴加权AdaGrad与动量法（Heavy Ball）和Nesterov动量相结合。在非凸随机设置下，该工作建立了O(log T / √T)的非渐近收敛速率，为Adam和RMSProp的行为提供了理论依据，并在动量消失时恢复了坐标轴加权AdaGrad这一特殊情况。

ABSTRACT

Adaptive stochastic gradient descent methods, such as AdaGrad, RMSProp, Adam, AMSGrad, etc., have been demonstrated efficacious in solving non-convex stochastic optimization, such as training deep neural networks. However, their convergence rates have not been touched under the non-convex stochastic circumstance except recent breakthrough results on AdaGrad, perturbed AdaGrad and AMSGrad. In this paper, we propose two new adaptive stochastic gradient methods called AdaHB and AdaNAG which integrate a novel weighted coordinate-wise AdaGrad with heavy ball momentum and Nesterov accelerated gradient momentum, respectively. The $\mathcal{O}(\frac{\log{T}}{\sqrt{T}})$ non-asymptotic convergence rates of AdaHB and AdaNAG in non-convex stochastic setting are also jointly established by leveraging a newly developed unified formulation of these two momentum mechanisms. Moreover, comparisons have been made between AdaHB, AdaNAG, Adam and RMSProp, which, to a certain extent, explains the reasons why Adam and RMSProp are divergent. In particular, when momentum term vanishes we obtain convergence rate of coordinate-wise AdaGrad in non-convex stochastic setting as a byproduct.

研究动机与目标

• 解决自适应随机梯度方法（如Adam和RMSProp）在非凸随机优化中缺乏收敛速率分析的问题。
• 开发新型自适应方法，将动量机制整合进坐标轴加权AdaGrad，以改善收敛特性。
• 为分析自适应优化中Heavy Ball和Nesterov动量机制提供统一的理论框架。
• 通过与所提方法的理论对比，解释Adam和RMSProp在某些场景下出现发散行为的原因。
• 在动量被移除时，恢复标准AdaGrad的收敛速率。

提出的方法

• 提出AdaHB，一种将坐标轴加权AdaGrad与Heavy Ball动量结合的自适应方法，采用一种新颖的统一动量机制公式。
• 引入AdaNAG，通过相同的统一框架，将Nesterov加速梯度动量扩展至AdaGrad。
• 提出一种新的统一公式，能够同时捕捉Heavy Ball和Nesterov动量，从而实现联合理论分析。
• 采用非渐近分析技术，在非凸随机优化设置下推导收敛速率。
• 使用基于历史梯度按参数自适应调整学习率的加权坐标轴AdaGrad更新规则。
• 通过有界期望梯度范数来分析收敛性，最终得到O(log T / √T)的收敛速率。

实验结果

研究问题

• RQ1 能否为自适应优化中的Heavy Ball和Nesterov动量建立统一的理论分析框架？
• RQ2 在非凸随机设置下，将AdaGrad与动量结合的自适应方法的非渐近收敛速率是多少？
• RQ3 为何Adam和RMSProp在某些场景下会出现发散？它们与所提方法有何本质区别？
• RQ4 当动量项消失时，所提方法是否能恢复标准AdaGrad的收敛速率？
• RQ5 加权坐标轴AdaGrad与动量机制的结合，如何影响优化的稳定性和收敛性？

主要发现

• AdaHB和AdaNAG在非凸随机优化中实现了O(log T / √T)的非渐近收敛速率，这是重要的理论贡献。
• 所提出的Heavy Ball与Nesterov动量的统一公式，使得两者可联合分析，并为它们在自适应设置下的行为提供了理论洞见。
• 该分析通过揭示Adam和RMSProp在特定条件下无法保持稳定梯度自适应，解释了其发散行为。
• 当动量项消失时，所提方法退化为坐标轴加权AdaGrad，其收敛速率与已知的O(log T / √T)速率一致。
• 该理论框架为理解与改进深度学习中的自适应优化方法奠定了基础。
• 结果表明，在非凸设置中，自适应方法中动量机制的集成必须精心设计，以确保收敛性。