[论文解读] Accelerated Sampling on Discrete Spaces with Non-Reversible Markov Processes

Samuel Power, Jacob Vorstrup Goldman|arXiv (Cornell University)|Dec 10, 2019

Markov Chains and Monte Carlo Methods参考文献 46被引用 13

一句话总结

本文提出了一类用于离散空间高效MCMC采样的连续时间、非可逆马尔可夫跳跃过程，利用群论结构（如对称性和生成元）进行设计。提出了三种算法——Zanella过程、禁忌采样器和离散Zig-Zag/dCS，相较于可逆方法，展现出更优的混合性能与计算效率，在结构化离散目标上的有效样本量每秒提升最高达13倍。

ABSTRACT

We consider the task of MCMC sampling from a distribution defined on a discrete space. Building on recent insights provided in [Zan19], we devise a class of efficient continuous-time, non-reversible algorithms which make active use of the structure of the underlying space. Particular emphasis is placed on how symmetries and other group-theoretic notions can be used to improve exploration of the space. We test our algorithms on a range of examples from statistics, computational physics, machine learning, and cryptography, which show improvement on alternative algorithms. We provide practical recommendations on how to design and implement these algorithms, and close with remarks on the outlook for both discrete sampling and continuous-time Monte Carlo more broadly.

研究动机与目标

• 解决离散状态空间中缺乏高效、结构感知的MCMC采样方法的问题，尤其与连续空间方法相比。
• 通过引入非可逆动力学，克服传统可逆MCMC的局限性，提升混合性能与收敛速度。
• 利用离散状态空间中的代数结构——特别是群对称性和生成元——设计更高效的采样算法。
• 开发可实际实现的算法，避免离散化，并在连续时间内精确模拟。
• 通过偏平衡详细平衡和不变性提供理论保证，确保渐近精确性。

提出的方法

• 构建一类通用的连续时间马尔可夫跳跃过程（MJP），在离散空间X上实现期望的不变分布π，通过基于平衡函数构造的跳跃速率。
• 提出Zanella过程作为离散采样用的基础非可逆MJP，将局部平衡提议推广至连续时间。
• 为低阶生成元群设计禁忌采样器，通过禁止近期动作的回溯来防止重复移动，提升探索效率。
• 提出离散坐标采样器（dCS）和离散Zig-Zag过程（dZZ），适用于高阶/无限阶生成元群，促进沿有效方向的持续运动。
• 通过MJP的精确模拟避免离散化误差，实现实时、无需薄化处理的高效采样。
• 应用群论原理——特别是生成元作用与对称群——以适配状态空间的内在几何结构。

实验结果

研究问题

• RQ1 能否系统性地构建非可逆、连续时间的马尔可夫过程，以在任意离散空间分布上采样，同时保持不变性？
• RQ2 如何算法化地利用群对称性与生成元等代数结构，以改善离散MCMC中的混合性能？
• RQ3 在结构化离散采样问题中，非可逆动力学相较于可逆方法的性能增益如何？
• RQ4 在何种场景下，持续运动（dZZ、dCS）优于避免回溯的策略（禁忌采样器），反之亦然？
• RQ5 在离散空间上对MJP进行精确连续时间模拟，能否在实际效率上超越标准离散时间MCMC？

主要发现

• Zanella过程、禁忌采样器、dCS与dZZ均通过满足偏平衡详细平衡或详细平衡，实现渐近精确性，确保不变分布的正确性。
• 在格高斯模型中，dCS的有效样本量每秒约为Zanella过程的13倍，dZZ则表现出10倍的性能提升。
• dZZ由于持续运动表现出更优的去相关性，而dCS则因更广泛的探索与更低的每次迭代成本，保持了更高的每秒有效样本量。
• 在条件置换检验与Sherrington-Kirkpatrick自旋玻璃模型中，新采样器展现出比标准可逆MCMC更快的混合速度与更优的收敛性。
• 禁忌采样器在低阶生成元设置中有效防止了回溯，显著提升了贝叶斯变量选择等任务中的探索效率。
• 这些算法在统计学、物理学、机器学习与密码学等多个领域均表现出鲁棒性，展现出广泛适用性与一致的性能增益。