[论文解读] Non-Reversible Parallel Tempering: an Embarassingly Parallel MCMC Scheme

Saifuddin Syed, Alexandre Bouchard‐Côté+2 more|arXiv (Cornell University)|May 8, 2019

Markov Chains and Monte Carlo Methods被引用 4

一句话总结

本文提出了一种非可逆并行退火MCMC方法，通过利用分段确定性动力学，相较于传统可逆方案实现了更快的混合速度和更高的采样效率，特别适用于高维后验分布。该方法通过理论尺度极限推导出最优退火调度，并提出一种迭代近似算法以实现实际应用。

ABSTRACT

Parallel tempering (PT) methods are a popular class of Markov chain Monte Carlo schemes used to sample complex high-dimensional probability distributions. They rely on a collection of $N$ interacting auxiliary chains targeting tempered versions of the target distribution to improve the exploration of the state-space. We provide here a new perspective on these highly parallel algorithms and their tuning by identifying and formalizing a sharp divide in the behaviour and performance of reversible versus non-reversible PT schemes. We show theoretically and empirically that a class of non-reversible PT methods dominates its reversible counterparts and identify distinct scaling limits for the non-reversible and reversible schemes, the former being a piecewise-deterministic Markov process and the latter a diffusion. These results are exploited to identify the optimal annealing schedule for non-reversible PT and to develop an iterative scheme approximating this schedule. We provide a wide range of numerical examples supporting our theoretical and methodological contributions. The proposed methodology is applicable to sample from a distribution $\pi$ with a density $L$ with respect to a reference distribution $\pi_0$ and compute the normalizing constant. A typical use case is when $\pi_0$ is a prior distribution, $L$ a likelihood function and $\pi$ the corresponding posterior.

研究动机与目标

• 解决在高维、复杂后验分布中可逆并行退火效率低下的问题。
• 识别并形式化可逆与非可逆PT方案之间的性能差距。
• 通过尺度极限推导出非可逆PT的理论最优退火调度。
• 提出一种迭代算法，用于在实际中近似最优调度。
• 实现复杂似然函数下归一化常数的精确计算。

提出的方法

• 提出一种非可逆PT方案，用非可逆动力学替代可逆的Metropolis-Hastings更新，从而生成分段确定性马尔可夫过程。
• 识别出不同的尺度极限：非可逆PT收敛于分段确定性过程，而可逆PT收敛于扩散过程。
• 通过分析非可逆方案的尺度极限，推导出最优退火调度。
• 提出一种迭代算法，用于在实际中近似理论上的最优退火调度。
• 将该方法应用于具有复杂、高维似然函数的后验分布抽样。
• 利用该方案通过边际似然计算估计后验的归一化常数。

实验结果

研究问题

• RQ1 非可逆PT在混合速度和探索效率方面与可逆PT相比如何？
• RQ2 非可逆与可逆PT方案的尺度极限有何不同？
• RQ3 能否基于非可逆PT的尺度极限推导出其最优退火调度？
• RQ4 对最优调度的迭代近似在实际中表现如何？
• RQ5 非可逆PT在高维设置下对后验抽样和归一化常数估计的改进程度如何？

主要发现

• 非可逆PT在混合和探索方面显著优于可逆PT，无论在理论上还是实证上均表现优异。
• 非可逆PT的尺度极限是分段确定性马尔可夫过程，而可逆PT的尺度极限是扩散过程。
• 非可逆PT的最优退火调度由其分段确定性尺度极限推导得出。
• 对最优调度的迭代近似在多种数值示例中均表现出色。
• 该方法能够实现贝叶斯推断中复杂似然函数下归一化常数的精确且高效计算。
• 所提出的方案适用于具有相对于参考测度π₀密度L的一般后验分布。