[论文解读] Fast mixing of Metropolized Hamiltonian Monte Carlo: Benefits of multi-step gradients

Yuansi Chen, Raaz Dwivedi+2 more|arXiv (Cornell University)|May 29, 2019

Markov Chains and Monte Carlo Methods参考文献 58被引用 19

一句话总结

本文为使用多步跃迁积分器的Metropolized哈密顿蒙特卡洛（HMC）提供了非渐近混合时间界，表明其收敛速度优于Metropolized随机游走或朗之万算法。研究证明，Metropolized HMC对误差容限具有对数依赖性，因此在高维、强对数凹分布中估计高阶矩时表现更优。

ABSTRACT

Hamiltonian Monte Carlo (HMC) is a state-of-the-art Markov chain Monte Carlo sampling algorithm for drawing samples from smooth probability densities over continuous spaces. We study the variant most widely used in practice, Metropolized HMC with the Störmer-Verlet or leapfrog integrator, and make two primary contributions. First, we provide a non-asymptotic upper bound on the mixing time of the Metropolized HMC with explicit choices of step-size and number of leapfrog steps. This bound gives a precise quantification of the faster convergence of Metropolized HMC relative to simpler MCMC algorithms such as the Metropolized random walk, or Metropolized Langevin algorithm. Second, we provide a general framework for sharpening mixing time bounds of Markov chains initialized at a substantial distance from the target distribution over continuous spaces. We apply this sharpening device to the Metropolized random walk and Langevin algorithms, thereby obtaining improved mixing time bounds from a non-warm initial distribution.

研究动机与目标

• 为使用显式步长和跃迁步长选择的Metropolized HMC提供非渐近混合时间上界。
• 为连续状态马尔可夫链从非初始分布出发时的混合时间界提供一个通用的优化框架。
• 从误差容限和维度的角度，比较Metropolized HMC与未调整HMC及基于ODE的HMC变体的梯度复杂度。
• 量化Metropolized HMC在估计高阶矩方面的优势，其对数误差依赖性优于未调整方法中的多项式依赖。

提出的方法

• 利用带有Metropolis-Hastings校正的跃迁积分器，推导出Metropolized HMC的非渐近混合时间界。
• 提出一种通用的优化技术，用于在初始分布远离目标分布时改进混合时间界，适用于多种MCMC算法。
• 将该优化框架应用于Metropolized随机游走和朗之万算法，以改进其混合时间界。
• 分析不同MCMC采样器为实现给定估计误差所需的关键梯度评估次数，使用Wasserstein距离和总变差距离度量。
• 比较未调整HMC、基于ODE的HMC与Metropolized HMC的梯度复杂度，重点关注误差容限和维度依赖性。
• 基于Lipschitz和有界函数假设，推导出Wasserstein距离和总变差距离的误差界，并将其与蒙特卡洛采样中的估计误差关联。

实验结果

研究问题

• RQ1 与更简单的MCMC方法相比，Metropolized HMC的混合时间如何随维度和误差容限变化？
• RQ2 多步跃迁积分器对Metropolized HMC的收敛速率有何影响？
• RQ3 能否开发一种通用框架，以改进初始分布远离目标分布时的混合时间界？
• RQ4 在估计高阶矩时，Metropolized HMC的梯度复杂度与未调整HMC和基于ODE的HMC相比如何？
• RQ5 不同MCMC采样器所需梯度评估次数对误差容限和维度的依赖关系如何？

主要发现

• Metropolized HMC实现了对误差容限 $\epsilon$ 的对数依赖性混合时间界，具体为 $O(d \log(\omega \sqrt{d}/\delta))$ 次梯度评估，以实现 $\delta$-精度估计。
• 对于 $\omega$-Lipschitz 函数，Wasserstein 误差界为 $J_{\text{Wass}} = \omega \epsilon$；对于有界函数，TV 误差为 $J_{\text{TV}} = B\epsilon$，其中 $B = \omega R$。
• 在估计高阶矩 $g(x) = \|x\|^{1+\nu}$ 时，Metropolized HMC 需要 $O(d(1+\nu)\log(d/\delta))$ 次梯度评估，优于未调整HMC的 $O(d^{(1+\nu)/2}/\sqrt{\delta})$，当 $\nu > 1$ 时优势显著。
• 基于ODE的HMC需要 $O(\omega \sqrt{d}/\delta)$ 次评估，当 $\nu > 1/2$ 时，由于Metropolized HMC具有对数误差依赖性，其性能更优。
• 该优化框架显著改善了初始分布远离目标分布时Metropolized随机游走和朗之万算法的混合时间界。
• 结果表明，Metropolized HMC的对数误差缩放相比未调整HMC变体的多项式缩放具有显著优势，尤其在高维或高阶矩估计任务中。