[论文解读] Faster Convergence of Stochastic Gradient Langevin Dynamics for Non-Log-Concave Sampling

Difan Zou, Pan Xu+1 more|arXiv (Cornell University)|Oct 19, 2020

Markov Chains and Monte Carlo Methods参考文献 56被引用 8

一句话总结

本论文针对非对数凹采样中的随机梯度朗之万动力学（SGLD）提出了一种新颖的电导率基收敛性分析，采用时间可逆的Metropolized SGLD作为辅助马尔可夫链。在一般条件下，该方法实现了更快的收敛速率：总变差距离下达到ρ-精度的梯度评估次数为$\tilde{O}(d^4 \rho^{-2})$，优于以往工作；在Hessian-Lipschitz条件下，该复杂度进一步优化为$\tilde{O}(d^{15/4} \rho^{-3/2})$。

ABSTRACT

We provide a new convergence analysis of stochastic gradient Langevin dynamics (SGLD) for sampling from a class of distributions that can be non-log-concave. At the core of our approach is a novel conductance analysis of SGLD using an auxiliary time-reversible Markov Chain. Under certain conditions on the target distribution, we prove that $ ilde O(d^4ε^{-2})$ stochastic gradient evaluations suffice to guarantee $ε$-sampling error in terms of the total variation distance, where $d$ is the problem dimension. This improves existing results on the convergence rate of SGLD (Raginsky et al., 2017; Xu et al., 2018). We further show that provided an additional Hessian Lipschitz condition on the log-density function, SGLD is guaranteed to achieve $ε$-sampling error within $ ilde O(d^{15/4}ε^{-3/2})$ stochastic gradient evaluations. Our proof technique provides a new way to study the convergence of Langevin-based algorithms and sheds some light on the design of fast stochastic gradient-based sampling algorithms.

研究动机与目标

• 为解决SGLD在非对数凹采样中收敛缓慢的问题，现有方法需使用极大尺寸的小批量数据。
• 发展一种更紧致的SGLD收敛性分析，避免依赖于大批次假设。
• 在一般条件与Hessian-Lipschitz条件下，改进实现总变差距离ρ-精度的梯度复杂度边界。
• 提出一种新颖的理论框架，利用时间可逆的辅助链更准确刻画SGLD的收敛行为。

提出的方法

• 引入Metropolized SGLD作为辅助的时间可逆马尔可夫链，以界定SGLD与目标分布之间的总变差距离。
• 利用电导率分析将混合时间与收敛速率关联，借助辅助链的性质。
• 通过总变差距离与Pinsker不等式，建立SGLD与辅助链之间的耦合论证。
• 应用高斯分布与卡方分布的集中不等式与尾部界，控制高概率集中的质量。
• 利用转移核均值差异推导SGLD转移之间总变差距离的上界。
• 在更强的光滑性假设下，借助Hessian-Lipschitz条件进一步收紧梯度复杂度边界。

实验结果

研究问题

• RQ1 SGLD是否能在不依赖大批次数据的前提下，实现非对数凹采样中的更快收敛？
• RQ2 与标准LMC方法相比，时间可逆的辅助链如何改进SGLD的收敛性分析？
• RQ3 在一般光滑性与耗散性条件下，SGLD实现总变差距离ρ-精度的最优梯度复杂度是多少？
• RQ4 Hessian-Lipschitz条件如何影响SGLD的收敛速率与梯度复杂度？
• RQ5 基于电导率的分析是否能提供比以往的遍历性或最优控制方法更紧致的界？

主要发现

• 在目标分布的一般条件下，SGLD以$\tilde{O}(d^4 \rho^{-2})$次随机梯度评估即可实现总变差距离的ρ-精度。
• 在对数密度的Hessian-Lipschitz条件下，梯度复杂度进一步优化为$\tilde{O}(d^{15/4} \rho^{-3/2})$。
• 通过Metropolized SGLD辅助链实现的电导率分析，相较于以往方法提供了更精确的收敛保证。
• 该方法避免了对大批次数据的需求，解决了早期研究（如Raginsky et al., 2017；Xu et al., 2018）中的瓶颈问题。
• 该理论框架为分析基于朗之万的采样算法（尤其在非对数凹情形）提供了新路径。
• 分析表明，SGLD的转移核与辅助链的核保持接近，从而支持强收敛界。