[论文解读] High-Order Langevin Diffusion Yields an Accelerated MCMC Algorithm

Wenlong Mou, Yi-An Ma+3 more|arXiv (Cornell University)|Jan 1, 2021

Markov Chains and Monte Carlo Methods被引用 38

一句话总结

本文提出了一种基于三阶朗之万扩散的MCMC算法，利用高阶动力学与分裂积分器，实现了更快的收敛速度。对于对数凹、光滑的目标分布——尤其是广义线性模型——在仅满足Lipschitz梯度条件的前提下，该算法在Wasserstein距离下以$\varepsilon$-精度收敛仅需$O\left(\frac{d^{1/4}}{\varepsilon^{1/2}}\right)$步，显著优于标准方法的混合时间。

ABSTRACT

We propose a Markov chain Monte Carlo (MCMC) algorithm based on third-order Langevin dynamics for sampling from distributions with log-concave and smooth densities. The higher-order dynamics allow for more flexible discretization schemes, and we develop a specific method that combines splitting with more accurate integration. For a broad class of $d$-dimensional distributions arising from generalized linear models, we prove that the resulting third-order algorithm produces samples from a distribution that is at most $\varepsilon > 0$ in Wasserstein distance from the target distribution in $O\left(\frac{d^{1/4}}{ \varepsilon^{1/2}} ight)$ steps. This result requires only Lipschitz conditions on the gradient. For general strongly convex potentials with $\alpha$-th order smoothness, we prove that the mixing time scales as $O \left(\frac{d^{1/4}}{\varepsilon^{1/2}} + \frac{d^{1/2}}{\varepsilon^{1/(\alpha - 1)}} ight)$.

研究动机与目标

• 开发一种适用于高维、对数凹分布的加速MCMC算法，且对光滑性假设要求最低。
• 利用更高阶的随机动力学（三阶）以提升离散化精度与收敛速度。
• 在Lipschitz梯度与强凸性条件下，建立所提方法的严格混合时间界。
• 在广义线性模型与一般强凸势函数中，与标准二阶朗之万MCMC相比，展示出更优的收敛速率。

提出的方法

• 该方法采用三阶朗之万动力学来建模采样过程，从而更精确地逼近连续时间扩散过程。
• 使用分裂积分器将动力学分解为可求解的组成部分，提升数值稳定性和精度。
• 积分格式结合高阶求积与算子分裂，以减小离散化误差。
• 算法设计确保细致平衡性，并在较弱的正则性条件下保证收敛至目标分布。
• 理论分析依赖耦合论证与李雅普诺夫函数技术，以界定与平稳分布的Wasserstein距离。
• 该方法被应用于广义线性模型以及具有$\alpha$-阶平滑性的广义强凸势函数。

实验结果

研究问题

• RQ1 与标准二阶方法相比，三阶朗之万动力学能否实现更快混合的MCMC算法？
• RQ2 在仅满足Lipschitz梯度条件时，高阶MCMC算法的最优混合时间是多少？
• RQ3 在强凸性与平滑性条件下，收敛速率如何随维度$d$与精度$\varepsilon$变化？
• RQ4 分裂积分器在实际中能否显著提升高阶朗之万MCMC的收敛性能？

主要发现

• 对于具有对数凹与光滑密度的$d$维广义线性模型，该算法在Wasserstein距离下以$\varepsilon$-精度收敛仅需$O\left(\frac{d^{1/4}}{\varepsilon^{1/2}}\right)$步。
• 收敛速率仅依赖于梯度的Lipschitz连续性，而不依赖于更高阶平滑性，使其适用于更广泛的模型类别。
• 对于具有$\alpha$-阶平滑性的广义强凸势函数，混合时间的尺度为$O\left(\frac{d^{1/4}}{\varepsilon^{1/2}} + \frac{d^{1/2}}{\varepsilon^{1/(\alpha - 1)}}\right)$。
• 三阶动力学允许更灵活且精确的离散化，从而减少达到收敛所需的步数。
• 与标准二阶朗之万MCMC相比，该方法实现了更优的收敛速率，尤其在高维设置下表现更优。