[论文解读] Global Convergence of Stochastic Gradient Hamiltonian Monte Carlo for Non-Convex Stochastic Optimization: Non-Asymptotic Performance Bounds and Momentum-Based Acceleration

Xuefeng Gao, Mert Gürbüzbalaban+1 more|arXiv (Cornell University)|Sep 12, 2018

Markov Chains and Monte Carlo Methods参考文献 93被引用 31

一句话总结

本文为非凸随机优化中的两种随机梯度哈密顿蒙特卡洛（SGHMC）变体建立了非渐近全局收敛边界。通过利用基于动量的加速机制，并提供具有明确常数的有限时间性能保证，该工作在一类非凸问题上证明了比SGLD更紧致的复杂度边界。

ABSTRACT

Stochastic gradient Hamiltonian Monte Carlo (SGHMC) is a variant of stochastic gradient with momentum where a controlled and properly scaled Gaussian noise is added to the stochastic gradients to steer the iterates towards a global minimum. Many works reported its empirical success in practice for solving stochastic non-convex optimization problems, in particular it has been observed to outperform overdamped Langevin Monte Carlo-based methods such as stochastic gradient Langevin dynamics (SGLD) in many applications. Although asymptotic global convergence properties of SGHMC are well known, its finite-time performance is not well-understood. In this work, we study two variants of SGHMC based on two alternative discretizations of the underdamped Langevin diffusion. We provide finite-time performance bounds for the global convergence of both SGHMC variants for solving stochastic non-convex optimization problems with explicit constants. Our results lead to non-asymptotic guarantees for both population and empirical risk minimization problems. For a fixed target accuracy level, on a class of non-convex problems, we obtain complexity bounds for SGHMC that can be tighter than those for SGLD. These results show that acceleration with momentum is possible in the context of global non-convex optimization.

研究动机与目标

• 为填补SGHMC在有限时间性能方面的理解空白，尽管其在实践中表现成功，但缺乏非渐近理论保证。
• 为基于不同下采样 Langevin SDE 离散化方式推导出的两种SGHMC变体，提供明确的、非渐近的收敛边界。
• 为总体风险最小化和经验风险最小化建立复杂度边界，其紧致性优于在相同目标精度下SGLD的现有边界。
• 分析动量和噪声缩放在非凸随机优化设置中对收敛性的影响。
• 通过在逻辑回归和ReLU网络等常见非凸问题上验证假设，来验证理论结论。

提出的方法

• 基于下采样朗之万扩散SDE的替代离散化方式，提出两种SGHMC变体，其在动量与噪声的整合方式上有所不同。
• 通过李雅普诺夫函数分析和集中不等式，推导出期望次优间隙的非渐近性能边界。
• 通过在弱光滑性和有界性假设下分析梯度与海森矩阵的增长条件，为收敛边界引入明确常数。
• 使用带有小批量采样的随机梯度估计器以控制方差，确保梯度噪声的二阶矩有界。
• 采用类似重球动力学的基于动量的加速机制，以提升收敛速度，优于标准SGLD。
• 通过在特定非凸问题（包括逻辑回归和具有有界激活函数的ReLU模型）上验证所需假设，来验证理论框架。

实验结果

研究问题

• RQ1 能否为非凸随机优化中的SGHMC建立具有明确常数的非渐近全局收敛保证？
• RQ2 SGHMC中的基于动量的加速机制与SGLD相比，如何影响有限时间收敛速率？
• RQ3 SGHMC在实现给定目标精度时，其迭代次数的复杂度边界在非凸问题中如何表示？
• RQ4 在何种条件下，所提出的SGHMC变体在收敛复杂度上优于SGLD？
• RQ5 理论边界是否适用于实际的非凸问题，如深度学习和具有有界激活的逻辑回归？

主要发现

• 本文为两种SGHMC变体建立了具有明确常数的非渐近全局收敛边界，证明其能有限时间内收敛至全局最小值的邻域。
• 在固定目标精度下，SGHMC的复杂度边界在一类非凸问题上优于SGLD，尤其在动量参数被适当调优时。
• 收敛速率依赖于逆温度、步长和噪声缩放，且对问题参数（如梯度与海森矩阵有界性）具有明确依赖关系。
• 理论框架在逻辑回归和ReLU网络上得到验证，其中所需假设（有界梯度、海森矩阵和噪声）均以明确常数满足。
• 分析表明，SGHMC中的动量可降低有效方差并加速收敛，从而相比SGLD实现更优的迭代复杂度。
• 边界同时适用于总体风险最小化和经验风险最小化，且明确依赖于小批量大小和问题维度，确保实际适用性。