[论文解读] Convergence Analysis of a Momentum Algorithm with Adaptive Step Size for Non Convex Optimization

Anas Barakat, Pascal Bianchi|arXiv (Cornell University)|Nov 18, 2019

Stochastic Gradient Optimization Techniques参考文献 54被引用 8

一句话总结

本文分析了一种用于非凸优化的基于动量的自适应梯度算法，采用有界步长，证明了在确定性和随机设置下最小平方梯度范数的 O(1/n) 收敛速率。此外，在 Kurdyka-Łojasiewicz (KŁ) 性质下建立了目标函数值的收敛性，这是自适应方法中首次获得此类结果。

ABSTRACT

Although ADAM is a very popular algorithm for optimizing the weights of neural networks, it has been recently shown that it can diverge even in simple convex optimization examples. Several variants of ADAM have been proposed to circumvent this convergence issue. In this work, we study the ADAM algorithm for smooth nonconvex optimization under a boundedness assumption on the adaptive learning rate. The bound on the adaptive step size depends on the Lipschitz constant of the gradient of the objective function and provides safe theoretical adaptive step sizes. Under this boundedness assumption, we show a novel first order convergence rate result in both deterministic and stochastic contexts. Furthermore, we establish convergence rates of the function value sequence using the Kurdyka-Lojasiewicz property.

研究动机与目标

• 解决如 Adam 等流行自适应方法在非凸优化中缺乏理论收敛保证的问题。
• 通过引入有界自适应步长，克服 Adam 在凸设置下的发散问题。
• 在有界步长假设下，建立确定性和随机非凸优化的收敛速率。
• 首次在自适应优化中利用 Kurdyka-Łojasiewicz (KŁ) 性质对目标函数值提供收敛速率分析。
• 放宽标准的有界梯度假设，并推导出与维度无关的收敛结果。

提出的方法

• 提出一种具有自适应、坐标化步长的动量算法，通过梯度的利普希茨常数对步长进行有界化。
• 引入一个李雅普诺夫函数，证明在确定性情况下最小平方梯度范数的 O(1/n) 收敛速率。
• 通过有界随机梯度的方差并保持有界步长条件，将分析扩展到随机优化。
• 应用 Kurdyka-Łojasiewicz (KŁ) 不等式，推导目标函数值序列的收敛速率。
• 使用变换变量 z_n 和李雅普诺夫函数 H，分析在 KŁ 条件下的收敛行为。
• 根据 KŁ 指数 θ 的不同，建立线性或次线性收敛，通过积分不等式和函数变换显式推导衰减速率。

实验结果

研究问题

• RQ1 有界自适应步长是否能确保非凸优化中动量算法的收敛性？
• RQ2 在有界步长下，确定性自适应动量方法的最小平方梯度范数的收敛速率是多少？
• RQ3 当梯度的方差有界时，该收敛速率在随机设置下如何扩展？
• RQ4 能否利用 Kurdyka-Łojasiewicz (KŁ) 性质推导出自适应优化中目标函数的收敛速率？
• RQ5 所提方法在弱于有界梯度的假设下是否能实现与维度无关的收敛？

主要发现

• 该算法通过李雅普诺夫函数在确定性设置下实现了最小平方梯度范数的 O(1/n) 收敛速率。
• 在随机设置下，当随机梯度的方差有界且步长几乎必然有界时，收敛速率仍为 O(1/n)。
• 收敛结果与参数维度 d 无关，放宽了对有界梯度假设的需求。
• 在 KŁ 性质下，指数 θ ∈ (0, 1/2] 时，目标函数以线性或次线性速率收敛。
• 当 θ = 1/2 时，收敛为线性；当 θ < 1/2 时，收敛速率为 O(k^{1/(2θ−1)})，为次线性但显式可计算。
• 该分析首次在自适应优化中利用 KŁ 性质建立了收敛速率结果，为非凸设置下的自适应方法提供了理论基础。