[论文解读] Does Hamiltonian Monte Carlo mix faster than a random walk on multimodal densities?

Oren Mangoubi, Natesh S. Pillai+1 more|arXiv (Cornell University)|Aug 9, 2018

Markov Chains and Monte Carlo Methods参考文献 30被引用 16

一句话总结

本文研究了在高度多模态目标分布上，哈密顿蒙特卡洛（HMC）是否优于随机游走Metropolis（RWM）算法，发现HMC并未展现出根本性优势。通过利用由刘维尔定理推导出的新导通率公式，作者计算了在方差较小的高斯混合模型上两种算法的谱间隙，结果表明两者在 $ \sigma \to 0 $ 时均呈现相同的衰减速率 $ e^{-\frac{1}{2}\sigma^{-2}} $。这表明在此情形下，HMC与RWM的混合时间渐近等价，尽管HMC基于梯度的提议在不同模态之间无效。

ABSTRACT

Hamiltonian Monte Carlo (HMC) is a very popular and generic collection of Markov chain Monte Carlo (MCMC) algorithms. One explanation for the popularity of HMC algorithms is their excellent performance as the dimension $d$ of the target becomes large: under conditions that are satisfied for many common statistical models, optimally-tuned HMC algorithms have a running time that scales like $d^{0.25}$. In stark contrast, the running time of the usual Random-Walk Metropolis (RWM) algorithm, optimally tuned, scales like $d$. This superior scaling of the HMC algorithm with dimension is attributed to the fact that it, unlike RWM, incorporates the gradient information in the proposal distribution. In this paper, we investigate a different scaling question: does HMC beat RWM for highly $ extit{multimodal}$ targets? We find that the answer is often $ extit{no}$. We compute the spectral gaps for both the algorithms for a specific class of multimodal target densities, and show that they are identical. The key reason is that, within one mode, the gradient is effectively ignorant about other modes, thus negating the advantage the HMC algorithm enjoys in unimodal targets. We also give heuristic arguments suggesting that the above observation may hold quite generally. Our main tool for answering this question is a novel simple formula for the conductance of HMC using Liouville's theorem. This result allows us to compute the spectral gap of HMC algorithms, for both the classical HMC with isotropic momentum and the recent Riemannian HMC, for multimodal targets.

研究动机与目标

• 确定哈密顿蒙特卡洛（HMC）在高度多模态目标分布上是否比随机游走Metropolis（RWM）具有更快的混合速度。
• 评估HMC基于梯度的提议在模态分离明显的多模态环境中是否具有实际优势。
• 开发一种通用方法，利用新颖的导通率公式计算HMC在多模态目标上的谱间隙。
• 评估HMC在多模态区域中对不同调优参数的鲁棒性。
• 挑战HMC普遍优于RWM的既定假设，尤其是在高维或高度多模态的情境下。

提出的方法

• 利用刘维尔定理推导HMC导通率的新公式，从而实现对多模态目标谱间隙的精确计算。
• 将该导通率公式应用于一个典型的多模态示例：两个高斯分布的混合 $ \frac{1}{2}N(-1,\sigma^2) + \frac{1}{2}N(1,\sigma^2) $。
• 在最优调优下，计算HMC（采用各向同性和黎曼度量）与RWM的谱间隙，其中积分时间 $ T \propto \sigma $，提议方差 $ \propto \sigma^2 $。
• 利用切赫不等式将导通率与谱间隙关联，建立混合时间性能的上下界。
• 分析谱间隙在 $ \sigma \to 0 $ 时的渐近行为，证明两种算法的衰减速率完全相同。
• 证明增加HMC的积分时间 $ T $ 仅能带来导通率的线性提升，从而限制性能增益。

实验结果

研究问题

• RQ1 在模态明显分离的多模态目标分布上，HMC是否比RWM具有更快的混合速度？
• RQ2 HMC提议中的梯度信息能否有效促进多模态目标中远距离模态之间的转移？
• RQ3 当模态间距离增加（即 $ \sigma \to 0 $）时，HMC与RWM的谱间隙的渐近行为如何？
• RQ4 即使经过最优调优，HMC在多模态区域是否仍存在根本性的性能限制？
• RQ5 通过不断增加积分时间 $ T $，是否能无限提升HMC的导通率，还是存在收益递减？

主要发现

• 对于方差较小的两个高斯分布混合模型 $ \sigma $，HMC与RWM的谱间隙在 $ \sigma \to 0 $ 时均以 $ e^{-\frac{1}{2}\sigma^{-2}} $ 的速率衰减。
• 采用各向同性动量的HMC与黎曼HMC的谱间隙衰减速率与RWM完全相同，表明在此情形下HMC并无混合优势。
• HMC的导通率随积分时间 $ T $ 的增加最多呈线性增长，意味着性能增益受限，无法突破多模态障碍。
• 即使经过最优调优，HMC在多模态区域中也无法改善其相对于RWM的相对性能，因为梯度在模态间无效。
• RWM可通过更优调优（如 $ \epsilon \propto \sigma $）实现显著性能提升，而HMC则无此改善，凸显了两者在可调优性上的关键差异。
• 导通率上界 $ \Phi(K_T) \leq T \cdot \Phi_0(\pi) $ 表明，HMC的有效混合速率从根本上受限于目标分布的底层几何结构。