[论文解读] Convergence of Langevin MCMC in KL-divergence

Xiang Cheng, Peter L. Bartlett|arXiv (Cornell University)|May 25, 2017

Markov Chains and Monte Carlo Methods参考文献 4被引用 37

一句话总结

该论文在势函数 U 满足强凸性和光滑性假设的前提下，首次建立了离散 Langevin MCMC 在 Kullback-Leibler (KL) 散度下的非渐近收敛速率。通过将 Langevin 扩散解释为概率空间中的梯度流，作者推导出在 KL 散度中达到 ε 误差所需的 ˜O(d/ε) 次迭代复杂度，统一了在总变差距离和 2-Wasserstein 距离等较弱度量下的收敛保证。

ABSTRACT

Langevin diffusion is a commonly used tool for sampling from a given distribution. In this work, we establish that when the target density $p^*$ is such that $\log p^*$ is $L$ smooth and $m$ strongly convex, discrete Langevin diffusion produces a distribution $p$ with $KL(p||p^*)\leq ε$ in $ ilde{O}(\frac{d}ε)$ steps, where $d$ is the dimension of the sample space. We also study the convergence rate when the strong-convexity assumption is absent. By considering the Langevin diffusion as a gradient flow in the space of probability distributions, we obtain an elegant analysis that applies to the stronger property of convergence in KL-divergence and gives a conceptually simpler proof of the best-known convergence results in weaker metrics.

研究动机与目标

• 在 KL 散度中建立离散 Langevin MCMC 的非渐近收敛性，KL 散度是比总变差距离或 Wasserstein 距离更自然的度量。
• 通过证明 KL 收敛作为更强的基础，统一多种度量下的收敛分析。
• 通过利用概率空间中的梯度流结构，提供一个概念上更简洁的证明框架。
• 将收敛结果扩展到强凸性不成立的情形，提出在较弱假设下的新界。

提出的方法

• 使用 KL 散度作为势函数，将 Langevin 扩散形式化为概率分布空间中的梯度流。
• 将离散化的 Langevin 算法 (4) 视为连续 SDE (2) 的时间离散化版本，其中漂移在离散时间间隔内更新。
• 利用度量导数和连续性方程，界定向流中 KL 散度的变化速率。
• 通过将 KL 散度的衰减与漂移差的 L2 范数 ‖∇log pt − ∇log p∗‖L2(pt) 相关联，建立 KL 散度衰减的微分不等式。
• 应用 Gronwall 类型的论证和基于能量的界，推导收敛速率，区分 KL 散度较大或较小时的两种情形。
• 利用现有的矩界结果（如引理 11）以及密度流的正则性，确保可积性和有限的度量导数。

实验结果

研究问题

• RQ1 是否可以直接在 KL 散度中建立离散 Langevin MCMC 的收敛性，而非依赖于较弱的度量？
• RQ2 在强凸性和光滑性假设下，达到 KL 散度中 ε 精度的最优迭代复杂度是多少？
• RQ3 在概率空间中对梯度流的解释如何简化 MCMC 收敛性的分析？
• RQ4 当强凸性被放宽时，可以得到哪些收敛保证？
• RQ5 KL 收敛是否能导出对总变差距离和 2-Wasserstein 距离的更紧界？

主要发现

• 在 U 满足 m-强凸性和 L-光滑性时，离散 Langevin MCMC 算法在 ˜O(d/ε) 次迭代内满足 KL(pt∥p∗) ≤ ε。
• KL 收敛意味着在总变差距离和 2-Wasserstein 距离上也收敛，且迭代复杂度与先前结果一致，但基于更强的度量。
• 该证明框架通过将 KL 收敛作为主要结果，统一了多种度量下的收敛分析。
• 对于非强凸势函数，本文在维度依赖性上优于 [3]，但在 ε 依赖性上弱于先前工作。
• 流的度量导数 |p′_t| 有限，确保了连续时间动力学的适定性，并支持严格的离散化误差界。
• 分析表明，KL 散度的衰减由漂移差的平方 L2 范数决定，从而导出可用于推导速率的微分不等式。