[论文解读] Accelerated Linear Convergence of Stochastic Momentum Methods in Wasserstein Distances

Bugra Can, Mert Gürbüzbalaban+1 more|arXiv (Cornell University)|Jan 22, 2019

Stochastic Gradient Optimization Techniques参考文献 47被引用 18

一句话总结

该论文在具有噪声梯度的随机一阶预言机下，首次建立了随机动量方法——具体为Nesterov加速梯度（AG）、Polyak的动量法（HB）和加速投影梯度（APG）——在1- Wasserstein度量下的线性收敛速率。证明了当噪声方差低于推导出的阈值时，AG以速率 $O(\sqrt{\kappa}\log(1/\varepsilon))$ 线性收敛至不变分布附近 $\varepsilon$ 邻域，并量化了步长、动量与噪声容限之间的权衡。

ABSTRACT

Momentum methods such as Polyak's heavy ball (HB) method, Nesterov's accelerated gradient (AG) as well as accelerated projected gradient (APG) method have been commonly used in machine learning practice, but their performance is quite sensitive to noise in the gradients. We study these methods under a first-order stochastic oracle model where noisy estimates of the gradients are available. For strongly convex problems, we show that the distribution of the iterates of AG converges with the accelerated $O(\sqrtκ\log(1/\varepsilon))$ linear rate to a ball of radius $\varepsilon$ centered at a unique invariant distribution in the 1-Wasserstein metric where $κ$ is the condition number as long as the noise variance is smaller than an explicit upper bound we can provide. Our analysis also certifies linear convergence rates as a function of the stepsize, momentum parameter and the noise variance; recovering the accelerated rates in the noiseless case and quantifying the level of noise that can be tolerated to achieve a given performance. In the special case of strongly convex quadratic objectives, we can show accelerated linear rates in the $p$-Wasserstein metric for any $p\geq 1$ with improved sensitivity to noise for both AG and HB through a non-asymptotic analysis under some additional assumptions on the noise structure. Our analysis for HB and AG also leads to improved non-asymptotic convergence bounds in suboptimality for both deterministic and stochastic settings which is of independent interest. To the best of our knowledge, these are the first linear convergence results for stochastic momentum methods under the stochastic oracle model. We also extend our results to the APG method and weakly convex functions showing accelerated rates when the noise magnitude is sufficiently small.

研究动机与目标

• 分析在机器学习中常见的噪声梯度场景下，基于动量的加速方法的收敛行为。
• 在1-Wasserstein度量下，为随机AG、HB和APG方法建立严格的线性收敛保证。
• 量化在梯度噪声存在下仍能保持加速收敛速率的最大噪声方差。
• 将这些结果扩展至弱凸和二次目标函数，证明当噪声足够小时可实现加速收敛速率。
• 提供收敛速率的显式边界，作为步长、动量参数和噪声方差的函数。

提出的方法

• 在具有有界方差的无偏、零均值梯度噪声的一阶预言机模型下，分析随机动量方法。
• 采用李雅普诺夫函数方法，推导出迭代点分布的1-Wasserstein度量下的收缩边界。
• 推导出形式为 $O(\sqrt{\kappa}\log(1/\varepsilon))$ 的显式收敛速率，收敛至不变分布的 $\varepsilon$-邻域。
• 引入一种改进的李雅普诺夫函数 $V_{P_{\alpha,\beta}}$，以捕捉AG和HB在噪声存在下的动态行为。
• 基于稳定性和收缩分析，建立保持加速收敛的噪声方差 $\sigma^2$ 的边界。
• 通过APG方法将结果扩展至弱凸函数和约束问题，证明在小噪声下仍可实现类似的加速收敛速率。

实验结果

研究问题

• RQ1 像AG和HB这样的加速动量方法在存在噪声梯度时能否实现线性收敛？
• RQ2 在随机设置下，仍能实现加速收敛的最大梯度噪声水平是多少？
• RQ3 在随机梯度下，步长和动量参数如何影响收敛速率？
• RQ4 在噪声存在下，迭代点的分布是否在1-Wasserstein度量下收敛至平稳分布？
• RQ5 在随机设置下，能否保持 $O(\sqrt{\kappa}\log(1/\varepsilon))$ 的加速收敛速率？在何种条件下可以？

主要发现

• AG的迭代点分布以速率 $O(\sqrt{\kappa}\log(1/\varepsilon))$ 在1-Wasserstein度量下线性收敛至不变分布的 $\varepsilon$ 邻域内。
• 推导出噪声方差的临界上界，超过该值则无法保证加速收敛。
• 在无噪声极限下，收敛速率恢复为确定性情形下的 $O(\sqrt{\kappa}\log(1/\varepsilon))$ 速率。
• 对于二次目标函数，分析可得到更紧的边界，并在相同噪声约束下确认全局加速收敛。
• 当噪声幅度足够小时，APG方法在弱凸情况下也实现了加速收敛速率。
• 数值实验验证了平稳分布的存在性，并在不同噪声水平下验证了理论收敛速率。