[论文解读] Global Convergence of Langevin Dynamics Based Algorithms for Nonconvex Optimization

Pan Xu, Jinghui Chen+2 more|arXiv (Cornell University)|Jul 20, 2017

Stochastic Gradient Optimization Techniques参考文献 50被引用 86

一句话总结

本文提供了一种统一的非渐近分析，给出 GLD、SGLD 和 SVRG-LD 在非凸有限和优化中的全局收敛性保证，并在达到几乎的最小值时具有改进的梯度复杂度。

ABSTRACT

We present a unified framework to analyze the global convergence of Langevin dynamics based algorithms for nonconvex finite-sum optimization with $n$ component functions. At the core of our analysis is a direct analysis of the ergodicity of the numerical approximations to Langevin dynamics, which leads to faster convergence rates. Specifically, we show that gradient Langevin dynamics (GLD) and stochastic gradient Langevin dynamics (SGLD) converge to the almost minimizer within $\ ilde O\\big(nd/(\\lambda\\epsilon) \\big)$ and $\ ilde O\\big(d^7/(\\lambda^5\\epsilon^5) \\big)$ stochastic gradient evaluations respectively, where $d$ is the problem dimension, and $\\lambda$ is the spectral gap of the Markov chain generated by GLD. Both results improve upon the best known gradient complexity results (Raginsky et al., 2017). Furthermore, for the first time we prove the global convergence guarantee for variance reduced stochastic gradient Langevin dynamics (SVRG-LD) to the almost minimizer within $\ ilde O\\big(\\sqrt{n}d^5/(\\lambda^4\\epsilon^{5/2})\\big)$ stochastic gradient evaluations, which outperforms the gradient complexities of GLD and SGLD in a wide regime. Our theoretical analyses shed some light on using Langevin dynamics based algorithms for nonconvex optimization with provable guarantees.

研究动机与目标

• 动机与分析基于 Langevin 动力学的算法在非凸有限和优化中的全局收敛性。
• 提出一个统一的误差分解框架，直接分析离散化 Langevin 动力学的遍历性。
• 建立对近似最小值的明确收敛性，并量化 GLD、SGLD 和 SVRG-LD 的迭代/梯度复杂度。

提出的方法

• 建模非凸有限和 F_n(x)=1/n sum f_i(x)。
• 通过 Euler-Maruyama 离散化研究梯度 Langevin 动力学 (GLD)，更新中引入高斯噪声。
• 在小批量下应用随机梯度 Langevin 动力学 (SGLD)。
• 引入将半随机梯度与方差约减结合的 SVRG-LD。
• 将优化误差分解为：(i) 离散化遍历性与定态测度之间的缝隙，(ii) 定态测度之间的缝隙，(iii) 全局最小点附近的 Gibbs 集中性。
• 推导每种算法的非渐近界和迭代/梯度复杂度。

实验结果

研究问题

• RQ1 在应用于非凸有限和目标时，GLD、SGLD 与 SVRG-LD 能否实现全局收敛性保证？
• RQ2 达到近似最小值的明确非渐近迭代/梯度复杂度率是多少？
• RQ3 离散化误差和遍历性如何影响非凸情形下对全局最小值的收敛？
• RQ4 在收敛性保证方面，方差约减（SVRG-LD）与标准的 GLD/SGLD 相比有何差异？

主要发现

• GLD 收敛到近似最小值，迭代次数为 兔?d}{\\tilde{\\lambda}\\epsilon}，达到精度 \\\u0005。
• SGLD 在 兔?d^7}{\\tilde{\\lambda}^5\\epsilon^5} 次随机梯度评估内达到近似最小值。
• SVRG-LD 在 兔?\\sqrt{n} d^5}{\\tilde{\\lambda}^4\\epsilon^{5/2}} 次随机梯度评估内收敛到近似最小值，在广泛的场景中优于 GLD/SGLD。
• 在某些情形下，SVRG-LD 提供了非凸有限和优化的首次全局收敛保证，梯度复杂度为 兔?n d}{\\epsilon} 或更好。
• 结果通过提供更快的迭代复杂度并为 SVRG-LD 建立全局收敛性保证，改进了既有工作。
• 分析将遍历性、泊松方程界以及 Gibbs 集中性联系起来，以提供具体的非渐近保证。