[论文解读] A Unifying Framework for Devising Efficient and Irreversible MCMC Samplers

Yi-An Ma, Tianqi Chen+2 more|arXiv (Cornell University)|Aug 21, 2016

Markov Chains and Monte Carlo Methods被引用 6

一句话总结

本文提出了一种统一框架，通过结合连续动力学与跳跃过程，设计高效且不可逆的马尔可夫链蒙特卡洛（MCMC）采样器。它通过正半定扩散矩阵 𝐷 和反对称旋度矩阵 𝑄 参数化连续动力学中的可逆与不可逆部分，通过对称核 𝑆 和反对称核 𝐴 参数化跳跃过程，确保正确的平稳分布，同时实现可扩展的、不可逆的采样并提升混合效率。

ABSTRACT

We propose a framework for Markov chain Monte Carlo using both continuous dynamics and jump processes that enable the development of efficient, irreversible samplers. For each component, we decompose the dynamics into reversible and irreversible processes, and with a parameterization that is easy to specify while ensuring the correct stationary distribution. For the continuous dynamic samplers, we prove that all such samplers can be encoded by a positive semidefinite diffusion matrix ${\bf D}$ and skew-symmetric curl matrix ${\bf Q}$, where ${\bf D}$ determines the reversible part and ${\bf Q}$ drives the irreversible process. Using our proposed parameterization, it is straightforward to ensure that the target distribution is preserved. We likewise discuss scalable variants using stochastic gradients for large-scale Bayesian inference, and use our framework to propose a Riemann version of stochastic gradient Hamiltonian Monte Carlo. For samplers following jump processes, we prove that such samplers can be represented by a symmetric kernel $S$ and an anti-symmetric kernel $A$, with straightforward conditions to satisfy to preserve the target distribution. Paralleling the continuous framework, $S$ determines the reversible part and $A$ the irreversible process. As a practical algorithm, we propose an implementation akin to Metropolis Hastings-with the same ease and efficiency-but allowing for irreversible dynamics. In our experiments, we demonstrate the benefits of such irreversibility across a broad range of target distributions. Finally, we combine the frameworks and show how one can use the continuous dynamics as a proposal distribution in the irreversible jump sampler. This can be viewed either as a method for correcting for bias in the discretized continuous dynamics or as a method for incorporating geometric information into the irreversible jump sampler.

研究动机与目标

• 开发一种通用框架，用于构建高效、不可逆的MCMC采样器，以改善混合性能与收敛速度。
• 解决设计不可逆MCMC方法的挑战，确保在提升采样效率的同时保持正确的目标分布。
• 在单一参数化框架内统一连续动力学与跳跃过程，以增强适用范围。
• 通过随机梯度实现可扩展推理，尤其适用于大规模贝叶斯问题。
• 通过连续动力学作为提议机制，将几何信息整合到不可逆采样器中。

提出的方法

• 使用正半定扩散矩阵 𝐷（可逆部分）和反对称旋度矩阵 𝑄（不可逆部分）对连续动力学进行参数化，确保平稳分布正确。
• 证明所有此类采样器均由对 (𝐷, 𝑄) 编码，其中 𝑄 引入非可逆漂移以改善混合性能。
• 通过对称核 𝑆（可逆）和反对称核 𝐴（不可逆）构建跳跃过程采样器，并施加条件以保持目标分布。
• 提出一种类似Metropolis-Hastings的算法，采用不可逆动力学，在保持标准MH方法简便性与高效性的同时，实现非可逆转移。
• 通过将框架扩展至流形几何，提出随机梯度哈密顿蒙特卡洛的黎曼版本。
• 在不可逆跳跃采样器中，将连续动力学用作提议分布，实现偏差校正或几何增强。

实验结果

研究问题

• RQ1 如何系统性地构建不可逆MCMC采样器，同时保持正确的平稳分布？
• RQ2 何种参数化可确保在具有不可逆动力学的连续时间MCMC中同时实现效率与正确性？
• RQ3 是否可以设计出与连续动力学具有相似不可逆性及分布保持保证的跳跃过程采样器？
• RQ4 该框架如何扩展以支持使用随机梯度的可扩展贝叶斯推理？
• RQ5 连续动力学能否作为跳跃型采样器中有效且不可逆的提议机制？

主要发现

• 该框架保证：任何由正半定 𝐷 和反对称 𝑄 参数化的MCMC采样器，均可保持目标分布，同时实现高效、不可逆的采样。
• 在连续动力学中使用反对称 𝑄 可在多种目标分布的实证评估中显著改善混合性能并加快收敛速度。
• 由对称 𝑆 和反对称 𝐴 参数化的跳跃过程采样器同样能保持目标分布，且实现条件清晰直接。
• 所提出的随机梯度哈密顿蒙特卡洛的黎曼版本在大规模贝叶斯推理任务中表现更优。
• 在不可逆跳跃采样器中结合连续动力学作为提议分布，可实现有效的偏差校正与几何结构整合，从而提升整体采样效率。