[论文解读] Continuously tempered Hamiltonian Monte Carlo

Matthew M. Graham, Amos Storkey|arXiv (Cornell University)|Apr 11, 2017

Markov Chains and Monte Carlo Methods参考文献 34被引用 3

一句话总结

本文提出连续调温哈密顿蒙特卡洛（CT-HMC），通过在哈密顿蒙特卡洛状态空间中引入一个连续温度控制变量，以改善多模态分布中的混合性能并估计归一化常数。通过允许在状态变量的同时对温度进行基于梯度的更新，CT-HMC 在对现有 HMC 实现仅做最小代码修改的前提下，实现了高效的探索和精确的归一化常数估计。

ABSTRACT

Hamiltonian Monte Carlo (HMC) is a powerful Markov chain Monte Carlo (MCMC) method for performing approximate inference in complex probabilistic models of continuous variables. In common with many MCMC methods, however, the standard HMC approach performs poorly in distributions with multiple isolated modes. We present a method for augmenting the Hamiltonian system with an extra continuous temperature control variable which allows the dynamic to bridge between sampling a complex target distribution and a simpler unimodal base distribution. This augmentation both helps improve mixing in multimodal targets and allows the normalisation constant of the target distribution to be estimated. The method is simple to implement within existing HMC code, requiring only a standard leapfrog integrator. We demonstrate experimentally that the method is competitive with annealed importance sampling and simulating tempering methods at sampling from challenging multimodal distributions and estimating their normalising constants.

研究动机与目标

• 解决标准 HMC 在具有孤立模式的多模态目标分布中混合性能差的问题。
• 实现对复杂目标分布归一化常数的精确估计，该量是模型比较中的关键指标。
• 开发一种简单、即插即用的 HMC 扩展方法，避免使用离散温度调度。
• 相比冷凝重要性采样和模拟退火，提升采样效率与归一化常数估计性能。
• 利用连续温度控制，更好地与自适应 HMC 方法（如 NUTS）集成。

提出的方法

• 在标准 HMC 状态空间中引入一个连续的逆温度变量 β，实现状态 x 和 β 的联合动力学。
• 定义一个联合势能函数，通过 β 在基分布与目标分布之间实现平滑插值。
• 使用标准的 leapfrog 积分器在扩展空间中模拟哈密顿动力学，支持基于梯度的更新。
• 在联合空间中应用 Metropolis-Hastings 接受-拒绝步骤，以确保细致平衡并维持正确的平稳分布。
• 采用两种变体实现该方法：联合 CT-HMC（x 和 β 同时更新）与 Gibbs CT-HMC（通过截断指数分布采样单独更新 β）。
• 利用变分近似作为 β 的提议分布以改善混合性能，同时在极限下保持渐近精确性。

实验结果

研究问题

• RQ1 与标准 HMC 相比，连续温度变量是否能改善多模态分布中的混合性能？
• RQ2 联合连续退火是否能实现对目标分布归一化常数的精确估计？
• RQ3 在采样效率与归一化常数估计方面，CT-HMC 与冷凝重要性采样和模拟退火相比表现如何？
• RQ4 CT-HMC 是否能无缝集成到现有的基于 HMC 的概率编程框架中？
• RQ5 在计算效率与采样质量方面，连续温度控制是否优于离散退火方案？

主要发现

• CT-HMC 在从具有挑战性的多模态分布中采样时，性能与冷凝重要性采样和模拟退火相当。
• 该方法能够精确估计目标分布的归一化常数，而这一量在标准 HMC 中通常难以计算。
• 在 GPU 实现中，联合 CT-HMC 由于避免了 β 更新时昂贵的离散类别采样，优于模拟退火。
• Gibbs CT-HMC 消除了对温度控制质量参数进行调优的需求，并在实验中实现了与联合 CT-HMC 相当或更优的采样效率。
• 该方法在现有 HMC 代码库中易于实现，仅需标准的 leapfrog 积分器，且无需修改核心 HMC 逻辑。
• 自适应 HMC 变体（如 NUTS）可直接应用于扩展空间，实现无需手动调优的黑箱退火推理。