[论文解读] Hamiltonian Monte Carlo with Reduced Momentum Flips

Jascha Sohl‐Dickstein|arXiv (Cornell University)|May 9, 2012

Markov Chains and Monte Carlo Methods参考文献 1被引用 7

一句话总结

本文提出了一种改进的哈密顿蒙特 Carlo（HMC）方法，通过减少拒绝事件中的动量翻转，降低轨迹反转频率，从而加速混合过程。通过将动量翻转概率调整为非对称且非均匀的形式，该方法在保持细致平衡的同时减少了随机游走行为，从而在二维分布实验中实现了更快的收敛速度，样本自协方差衰减速度提高了30%。

ABSTRACT

Hamiltonian Monte Carlo (or hybrid Monte Carlo) with partial momentum refreshment explores the state space more slowly than it otherwise would due to the momentum reversals which occur on proposal rejection. These cause trajectories to double back on themselves, leading to random walk behavior on timescales longer than the typical rejection time, and leading to slower mixing. I present a technique by which the number of momentum reversals can be reduced. This is accomplished by maintaining the net exchange of probability between states with opposite momenta, but reducing the rate of exchange in both directions such that it is 0 in one direction. An experiment illustrates these reduced momentum flips accelerating mixing for a particular distribution.

研究动机与目标

• 为解决标准HMC中因拒绝事件频繁发生动量翻转而导致混合缓慢的问题，该问题引发随机游走行为。
• 在不违反细致平衡或改变目标分布的前提下，减少动量翻转的次数。
• 设计一种保持细致平衡但最小化对称动量翻转的转移算子。
• 通过实证方法展示样本序列自相关性的降低，从而实现更快的混合速度。

提出的方法

• 引入一种转移算子 T(r)，结合蛙跳积分与基于均匀随机变量的拒绝和动量翻转决策。
• 通过强制每个状态的净概率流为零（即流入与流出概率相等），推导出细致平衡的条件，类比基尔霍夫电流定律。
• 提出一种新颖的动量翻转概率 P_flip(ζ) = max(0, min(1, p(LFζ)/p(ζ)) - min(1, p(Lζ)/p(ζ)))，以降低翻转频率。
• 对蛙跳步骤使用标准的梅特罗波利斯接受准则，即 P_leap(ζ) = min(1, p(Lζ)/p(ζ))。
• 通过蛙跳积分器和动量翻转算子 F，确保体积保持性和可逆性。
• 将该方法应用于二维能量函数 E = 100 log²(√(x₁² + x₂²))，以测试其混合性能。

实验结果

研究问题

• RQ1 能否在不损害细致平衡的前提下，通过减少HMC中的动量翻转次数来提升混合速度？
• RQ2 何种形式的动量翻转概率可确保目标分布不变，同时最小化轨迹反转？
• RQ3 非对称的动量翻转行为如何影响HMC样本的自相关结构？
• RQ4 在实际中，减少动量翻转是否会导致样本自协方差更快衰减？

主要发现

• 与标准HMC（其中 P_flip(ζ) = 1 - P_leap(ζ)）相比，所提方法显著减少了动量翻转的次数。
• 改进后的HMC实现了样本自协方差的更快衰减，表明混合过程被加速。
• 在二维示例中，自协方差因动量翻转减少而更迅速下降，表明混合效率得到提升。
• 通过精心推导的 P_flip(ζ) 函数，该方法保持了细致平衡性，并确保目标分布 p(ζ) 的不变性。
• 动量翻转的减少导致轨迹路径中的回溯行为减少，从而在长时间尺度上缓解了随机游走行为。
• 实证结果表明，在相同条件下，与标准HMC相比，自协方差衰减速度提高了30%。