[论文解读] Analysis of Langevin Monte Carlo via convex optimization

Alain Durmus, Szymon Majewski+1 more|arXiv (Cornell University)|Feb 26, 2018

Markov Chains and Monte Carlo Methods参考文献 40被引用 21

一句话总结

本文将未调整的朗之万算法（ULA）重新解释为二阶 Wasserstein 空间上的一阶优化方法，利用凸优化技术推导出采样误差的非渐近界。该文在对数凹、光滑目标下建立了 Kullback-Leibler 散度、总变差距离和 Wasserstein 距离的收敛速率，并通过两种新算法将该框架扩展至非光滑分布，这些算法推广了随机梯度朗之万动力学（SGLD）。

ABSTRACT

In this paper, we provide new insights on the Unadjusted Langevin Algorithm. We show that this method can be formulated as a first order optimization algorithm of an objective functional defined on the Wasserstein space of order $2$. Using this interpretation and techniques borrowed from convex optimization, we give a non-asymptotic analysis of this method to sample from logconcave smooth target distribution on $\mathbb{R}^d$. Based on this interpretation, we propose two new methods for sampling from a non-smooth target distribution, which we analyze as well. Besides, these new algorithms are natural extensions of the Stochastic Gradient Langevin Dynamics (SGLD) algorithm, which is a popular extension of the Unadjusted Langevin Algorithm. Similar to SGLD, they only rely on approximations of the gradient of the target log density and can be used for large-scale Bayesian inference.

研究动机与目标

• 使用凸优化工具对未调整的朗之万算法（ULA）进行非渐近分析。
• 将 ULA 解释为在二阶 Wasserstein 空间上的第一类优化算法，以最小化与目标分布相关的泛函。
• 通过提出两种新采样算法，将该框架扩展至非光滑目标分布，以推广随机梯度朗之万动力学（SGLD）。
• 在 Kullback-Leibler 散度、总变差距离和 Wasserstein 距离方面，推导出采样误差的显式、可计算的界。
• 在凸势和强凸势下，建立实现 ε-精度采样的计算复杂度界。

提出的方法

• 将 ULA 表述为二阶 Wasserstein 空间中的梯度流，将目标分布 π 解释为泛函 F 的最小化器。
• 应用凸优化中的收敛性分析技术，推导出算法输出与目标 π 之间 Kullback-Leibler 散度的界。
• 以过阻尼朗之万 SDE 的 Euler-Maruyama 离散化作为核心采样机制，步长为常数或非递增。
• 通过将近端算子与随机梯度结合，提出两种用于非光滑目标的新算法，将 SGLD 扩展至非光滑设置。
• 采用近端算子、非扩张性及方差控制等工具，分析新方案的稳定性和收敛性。
• 推导 Wasserstein 距离的递推不等式，并通过数学归纳法界定向最小值的期望平方距离，从而得到显式收敛速率。

实验结果

研究问题

• RQ1 未调整的朗之万算法能否被重新解释为二阶 Wasserstein 空间中的一阶优化方法？
• RQ2 在 Kullback-Leibler 散度、总变差距离和 Wasserstein 距离方面，能否为 ULA 推导出非渐近收敛界？
• RQ3 如何在保持收敛保证的前提下，将 SGLD 扩展至非光滑目标分布？
• RQ4 在凸势和强凸势下，实现 ε-精度采样的 ULA 的计算复杂度是多少？
• RQ5 梯度近似误差如何影响算法的收敛性？能否对其进行有界控制？

主要发现

• 对于强凸且梯度-Lipschitz 的势函数，本文在显式、非渐近界下恢复了 [18]、[16] 和 [10] 中已知的结果。
• 在凸性假设和预热启动条件下，ULA 实现 ε-精度的复杂度在 Kullback-Leibler 散度下为 O(dε⁻²)，在总变差距离下为 O(dε⁻⁴)。
• 当从势函数 U 的最小值点开始时，复杂度提升为 KL 散度下 O(dε⁻²)，总变差距离下 O(dε⁻³)，如表 3 所示。
• 针对非光滑目标提出的算法是 SGLD 的自然延伸，仅依赖于梯度近似，适用于大规模贝叶斯推断。
• 通过递推不等式和数学归纳法，推导出 Wasserstein 距离的显式界，其中包含梯度近似方差和二阶矩的项。
• 分析表明误差以受控速率累积，且所得界具有可计算性，适用于实际实现。