[论文解读] Is There an Analog of Nesterov Acceleration for MCMC?

Yi-An Ma, Niladri S. Chatterji+4 more|arXiv (Cornell University)|Feb 4, 2019

Markov Chains and Monte Carlo Methods参考文献 44被引用 44

一句话总结

本文表明，欠阻尼Langevin算法在KL散度度量的概率测度空间上表现为加速梯度下降，在某些条件下比经典Langevin获得更快的收敛速度。

ABSTRACT

We formulate gradient-based Markov chain Monte Carlo (MCMC) sampling as optimization on the space of probability measures, with Kullback-Leibler (KL) divergence as the objective functional. We show that an underdamped form of the Langevin algorithm performs accelerated gradient descent in this metric. To characterize the convergence of the algorithm, we construct a Lyapunov functional and exploit hypocoercivity of the underdamped Langevin algorithm. As an application, we show that accelerated rates can be obtained for a class of nonconvex functions with the Langevin algorithm.

研究动机与目标

• 将基于梯度的MCMC表述为对概率测度的优化，目标函数为KL散度。
• 证明欠阻尼Langevin动力学在该度量下实现了加速梯度下降。
• 通过Lyapunov泛函与低相关性理论为欠阻尼Langevin过程建立收敛保证。
• 在对数-索洛维不等式下，为一类非凸目标显示加速收敛速率。

提出的方法

• 将MCMC采样在概率测度空间中表述为KL梯度流。
• 在扩展状态空间引入带动量的加速梯度下降（AGD）动力学，并推导相应的欠阻尼Langevin随机微分方程。
• 构建一个耦合动量与位置的Lyapunov泛函，以证明在连续时间内线性收敛（速率与对数-索洛维常数相关）。
• 以高阶数值方案将AGD动力学离散化，以保持加速并分析离散化误差。
• 将连续的AGD与离散的欠阻尼Langevin算法联系起来，并给出步长建议。
• 讨论动量重采样，作为动量重启的联系以及与HMC的联系。

实验结果

研究问题

• RQ1 能否为基于梯度的MCMC算法实现Nesterov加速的类似物？
• RQ2 在对数-索洛维条件下，欠阻尼Langevin动力学是否在KL散度上提供加速收敛速率？
• RQ3 当MCMC存在加速时，什么Lyapunov结构能够证明收敛？
• RQ4 离散化如何影响MCMC方案的加速收敛保证？
• RQ5 哪些目标分布类（例如在某些光滑性下局部非凸）在这些动力学下具备加速收敛速率？

主要发现

• 欠阻尼Langevin动力学实现了关于KL散度的加速梯度下降。
• 对于满足对数-索洛维不等式的目标，欠阻尼方案在KL散度中将收敛从d/ε加速到√(d/ε)（定理1）。
• 一个耦合动量与位置的Lyapunov泛函在连续时间内给出线性收敛速率（速率ρ/10）。
• 高阶离散化方案保持加速并提供实际步长选择（h取决于L_G、L_H、ρ、d、ε）。
• 该方法将基于优化的加速与低化合性理论联系起来，使得一类非凸目标具备加速速率。
• 动量重启（通过重采样）与HMC相关，且可影响实际混合性。