[论文解读] Control of probability flow in Markov chain Monte Carlo -- Nonreversibility and lifting

Hidemaro Suwa, Synge Todo|arXiv (Cornell University)|Jul 2, 2012

Markov Chains and Monte Carlo Methods参考文献 17被引用 5

一句话总结

本文提出了一种通用框架，用于在任意状态空间中构建不可逆马尔可夫链蒙特卡洛（MCMC）核，利用多候选策略和随机转置（ST）算法，以最小化拒绝率并加速混合。通过打破细致平衡而保持目标分布不变，该方法显著降低了自相关时间并提高了采样效率，如在Potts模型和最多快50%收敛速度的双变量正态分布中所展示的。

ABSTRACT

The Markov chain Monte Carlo (MCMC) method is widely used in various fields as a powerful numerical integration technique for systems with many degrees of freedom. In MCMC methods, probabilistic state transitions can be considered as a random walk in state space, and random walks allow for sampling from complex distributions. However, paradoxically, it is necessary to carefully suppress the randomness of the random walk to improve computational efficiency. By breaking detailed balance, we can create a probability flow in the state space and perform more efficient sampling along this flow. Motivated by this idea, practical and efficient nonreversible MCMC methods have been developed over the past ten years. In particular, the lifting technique, which introduces probability flows in an extended state space, has been applied to various systems and has proven more efficient than conventional reversible updates. We review and discuss several practical approaches to implementing nonreversible MCMC methods, including the shift method in the cumulative distribution and the directed-worm algorithm.

研究动机与目标

• 开发一种在马尔可夫链蒙特卡洛（MCMC）中系统构建不可逆转移核的一般方法，以超越可逆方法提高采样效率。
• 解决标准MCMC方法在高维状态空间中因高自相关性和缓慢平衡化而导致的低效问题。
• 将不可逆MCMC的应用范围从有限状态空间扩展到一般的连续和离散状态空间。
• 为吉布斯采样器和梅特罗波利斯算法提供一种系统性替代方案，具有可证明改进的收敛速度和减少的积分自相关时间。
• 通过在Potts模型和双变量正态分布等模型上的数值评估，展示不可逆核的实际优势。

提出的方法

• 该方法通过使用对称提议分布，从一个枢纽（中心）配置生成多个候选状态来构建不可逆核。
• 应用随机转置（ST）算法，仅根据候选状态的目标权重选择下一个状态，从而最小化拒绝率。
• 设计转移概率以在修改后的方式满足细致平衡，确保目标分布不变性，同时打破时间可逆性。
• 该方法可推广至离散和连续状态空间，适用于复杂模型如Potts模型和酒瓶势能模型。
• 采用多候选策略以增加候选多样性，减少对拒绝的依赖并加速混合。
• 通过与标准梅特罗波利斯和吉布斯采样器比较积分自相关时间和拒绝率，对方法进行验证。

实验结果

研究问题

• RQ1 是否可以系统性地构建适用于一般状态空间（超越有限或离散系统）的不可逆MCMC核？
• RQ2 在高维模型中，打破细致平衡如何影响MCMC采样器的收敛速度和混合时间？
• RQ3 与标准梅特罗波利斯或吉布斯采样相比，多候选策略在多大程度上能减少拒绝率并提高采样效率？
• RQ4 不可逆MCMC核的不可约性和遍历性的必要与充分条件是什么？
• RQ5 在基准模型中，该方法在积分自相关时间和有效样本量方面的定量表现如何？

主要发现

• 所提出的不可逆核构造在Potts模型和双变量正态分布中显著降低了积分自相关时间，从而加快了收敛速度。
• 在酒瓶势能模型中，当h=16时，将候选数从3增加到5，降低了拒绝率，并缩短了(x₁+x₂)²的关联时间。
• 通过在多个候选上使用ST算法，该方法实现了最小化拒绝率，优于仅对两个候选最优的常规梅特罗波利斯算法。
• 采样效率的提升通过有效样本量损失的减少来量化，其中M_eff ≈ M / (1 + 2τ_int) 显示出τ_int减小时的显著增益。
• 该方法具有通用性，适用于任何MCMC采样场景，为吉布斯采样器和梅特罗波利斯-哈斯廷斯算法提供系统性替代方案。
• 数值结果证实，不可逆核可实现更快的平衡化和更低的估计器方差，尤其在强相关性或复杂能量景观的模型中表现更优。