[论文解读] Unbiased Markov chain Monte Carlo with couplings

Pierre Jacob, John R. O’Leary+1 more|arXiv (Cornell University)|Aug 11, 2017

Markov Chains and Monte Carlo Methods参考文献 98被引用 38

一句话总结

本文提出一种通过耦合两个MCMC链并使用Glynn和Rhee（2014）的 telescoping sum 技术，生成无偏马尔可夫链蒙特卡洛（MCMC）估计器的方法。该方法在任意固定迭代次数后均能消除偏差，支持高效并行计算，并可基于处理器数量构建有效的置信区间，适用于多模态目标分布和模块化贝叶斯推断等复杂模型。

ABSTRACT

Markov chain Monte Carlo (MCMC) methods provide consistent of integrals as the number of iterations goes to infinity. MCMC estimators are generally biased after any fixed number of iterations. We propose to remove this bias by using couplings of Markov chains together with a telescopic sum argument of Glynn and Rhee (2014). The resulting unbiased estimators can be computed independently in parallel. We discuss practical couplings for popular MCMC algorithms. We establish the theoretical validity of the proposed estimators and study their efficiency relative to the underlying MCMC algorithms. Finally, we illustrate the performance and limitations of the method on toy examples, on an Ising model around its critical temperature, on a high-dimensional variable selection problem, and on an approximation of the cut distribution arising in Bayesian inference for models made of multiple modules.

研究动机与目标

• 解决标准MCMC估计器中即使经过大量迭代仍存在的根本性偏差问题。
• 通过耦合与Rhee-Glynn估计器消除偏差，实现无需通信的MCMC链独立并行执行。
• 为Metropolis-Hastings和Gibbs采样等主流MCMC算法提供通用框架。
• 利用无偏估计器支持模块化推断与改进的收敛性诊断。
• 在高维与多模态目标分布上展示实际效率与可扩展性。

提出的方法

• 该方法使用一对耦合的马尔可夫链，通过耦合机制联合演化，确保其在有限时间内相遇。
• 应用Rhee-Glynn估计器，通过在链相遇时间之后对链间差异进行telescoping sum构造无偏估计量。
• 估计量定义为 $ \mathbb{E}[\sum_{t=k+1}^{\tau-1} (h(X_t) - h(Y_{t-1}))] $，其中 $ \tau $ 为链的相遇时间。
• 通过最大耦合、反射耦合与公共随机数实现耦合，以确保高效的相遇时间。
• 该方法允许链独立并行执行，置信区间可基于处理器数量渐近有效。
• 通过调优参数 $ k $ 和 $ m $ 控制估计器效率，其中 $ k $ 选为相遇时间的较大分位数，$ m $ 为 $ k $ 的倍数。

实验结果

研究问题

• RQ1 能否在不依赖目标分布解析形式的前提下，为一般MCMC算法构造无偏估计器？
• RQ2 与标准MCMC相比，所提出的无偏估计器在效率与方差方面表现如何？
• RQ3 该方法能否在无链间通信的情况下有效支持MCMC的并行计算？
• RQ4 该方法对模块化贝叶斯推断（特别是截断分布的计算）有何影响？
• RQ5 调优参数 $ k $ 与 $ m $ 如何影响最终估计器的偏差与方差？

主要发现

• 所提方法生成的估计器在任意固定迭代次数后均无偏，支持无偏并行执行。
• 该方法基于处理器数量提供有效的置信区间，而标准MCMC依赖于迭代次数的渐近性质。
• 在高维变量选择与伊辛模型中，该方法展示了实际的可扩展性与效率，尤其在链混合良好时表现更优。
• 在模块化推断的截断分布中，该方法通过组合针对不同条件分布的目标链，成功估计了边缘后验分布。
• 估计器的效率关键取决于相遇时间 $ \tau $，混合缓慢的链会导致高方差与性能下降。
• 理论分析表明，链的边际分布与目标分布之间的总变差距离可用 $ \mathbb{E}[\max(0, \tau - k - 1)] $ 有界，从而支持收敛性诊断。