[论文解读] Global convergence of the Heavy-ball method for convex optimization

Euhanna Ghadimi, Hamid Reza Feyzmahdavian+1 more|arXiv (Cornell University)|Dec 23, 2014

Sparse and Compressive Sensing Techniques参考文献 13被引用 9

一句话总结

本文建立了凸优化中Heavy-ball方法的全局收敛性及收敛速率界限。对于梯度Lipschitz连续的凸函数，迭代序列的Cesàro平均以𝒪(1/k)的速率收敛；对于强凸函数，迭代序列线性收敛。该工作提出了新的稳定性准则，其适用范围超越了二阶可微函数，即使在先前准则失效的情况下也能保证收敛。

ABSTRACT

This paper establishes global convergence and provides global bounds of the convergence rate of the Heavy-ball method for convex optimization problems. When the objective function has Lipschitz-continuous gradient, we show that the Cesaro average of the iterates converges to the optimum at a rate of $O(1/k)$ where k is the number of iterations. When the objective function is also strongly convex, we prove that the Heavy-ball iterates converge linearly to the unique optimum.

研究动机与目标

• 建立凸优化问题中，目标函数梯度Lipschitz连续时Heavy-ball方法的全局收敛性。
• 分析当目标函数也为强凸函数时，Heavy-ball方法的收敛速率。
• 提出新的稳定性准则，确保即使对于非二阶可微的强凸函数，也能保证收敛。
• 将先前结果推广至二阶可微性不成立的情形，此时先前的稳定性条件失效。
• 比较Heavy-ball方法在非光滑情形下与Nesterov加速方法及梯度下降的收敛行为。

提出的方法

• 采用李雅普诺夫函数方法分析Heavy-ball方法，以证明全局收敛性。
• 通过构造二次李雅普诺夫函数并分析其在迭代过程中的递减性，推导收敛速率界限。
• 为Heavy-ball方法的参数（步长α和动量β）提出新的稳定性准则，适用于类𝒮¹,¹_{μ,L}（凸、梯度Lipschitz连续、强凸）的函数。
• 采用时变步长，实现对单个迭代序列的𝒪(1/k)收敛速率，而不仅限于Cesàro平均。
• 通过数值实例验证理论结果，包括一个反例，表明Polyak原始稳定性准则在非二阶可微强凸函数下失效。
• 在特定参数选择下，推导出收敛因子估计值𝑞 = 1 − 𝛼𝜇，与梯度下降法的最佳已知速率一致。

实验结果

研究问题

• RQ1 对于梯度Lipschitz连续的凸函数，即使非二阶可微，Heavy-ball方法是否仍能实现全局收敛？
• RQ2 在凸且梯度Lipschitz连续的情况下，Heavy-ball迭代序列的Cesàro平均收敛速率可保证为多少？
• RQ3 当目标函数也为强凸函数时，能否建立Heavy-ball方法的线性收敛性？在何种参数条件下成立？
• RQ4 所提出的Heavy-ball方法新稳定性准则与现有准则相比如何，特别是在非光滑情形下？
• RQ5 对于同一类函数，能否使Heavy-ball方法的收敛因子优于标准梯度下降法？

主要发现

• 对于梯度Lipschitz连续的凸函数，Heavy-ball迭代序列的Cesàro平均以𝒪(1/k)的速率收敛至最优解。
• 当目标函数也为强凸函数时，在新稳定性准则下，Heavy-ball迭代序列线性收敛至唯一最优解。
• 所提出的稳定性准则允许比以往结果更宽泛的步长和动量参数范围，尤其当步长趋近于2/L时优势明显。
• 通过一个反例表明，Polyak原始稳定性准则在非二阶可微强凸函数下失效，但新准则可确保收敛。
• 在特定参数选择下，Heavy-ball方法的收敛因子为𝑞 = 1 − 𝛼𝜇，与梯度下降法的最佳已知速率一致。
• 数值结果表明，新稳定性准则即使在经典准则失效时（尤其是非光滑情形下）仍能确保收敛。