[论文解读] Coupled MCMC with a randomized acceptance probability

Geoff K. Nicholls, Colin Fox+1 more|arXiv (Cornell University)|May 30, 2012

Markov Chains and Monte Carlo Methods参考文献 18被引用 33

一句话总结

本文提出了一类使用随机接受概率的梅特罗波利斯-黑斯廷斯 MCMC 算法，其中对数目标比通过蒙特卡洛方法进行估计。在温和条件下，证明了近似链可与精确链耦合，即使校正项难以计算，也能确保渐近近似偏差为零，且误差以 $O(1/m)$ 的速率衰减，快于蒙特卡洛误差的 $O(1/ackslash sqrt{n})$。

ABSTRACT

We consider Metropolis Hastings MCMC in cases where the log of the ratio of target distributions is replaced by an estimator. The estimator is based on m samples from an independent online Monte Carlo simulation. Under some conditions on the distribution of the estimator the process resembles Metropolis Hastings MCMC with a randomized transition kernel. When this is the case there is a correction to the estimated acceptance probability which ensures that the target distribution remains the equilibrium distribution. The simplest versions of the Penalty Method of Ceperley and Dewing (1999), the Universal Algorithm of Ball et al. (2003) and the Single Variable Exchange algorithm of Murray et al. (2006) are special cases. In many applications of interest the correction terms cannot be computed. We consider approximate versions of the algorithms. We show that on average O(m) of the samples realized by a simulation approximating a randomized chain of length n are exactly the same as those of a coupled (exact) randomized chain. Approximation biases Monte Carlo estimates with terms O(1/m) or smaller. This should be compared to the Monte Carlo error which is O(1/sqrt(n)).

研究动机与目标

• 开发一种通用的马尔可夫链蒙特卡洛（MCMC）算法框架，该框架基于对数目标比的噪声估计，采用随机接受概率。
• 建立在使用估计比值时，此类算法仍能保持正确目标分布的遍历性的条件。
• 表明在固定模拟长度下，这些算法的近似版本以高概率可产生与精确耦合链完全相同的样本路径。
• 证明当校正项难以计算时，近似偏差为 $O(1/m)$，其衰减速率快于 $O(1/\sqrt{n})$ 的蒙特卡洛误差，因此在固定精度下可忽略不计。

提出的方法

• 提出一种随机化的梅特罗波利斯-黑斯廷斯算法，其中接受概率依赖于具有密度 $\xi(x;\theta,\theta')$ 的随机变量 $X$，引入了随机转移核。
• 定义广义接受概率 $\alpha_\xi(\theta,\theta';x) = \min\left\{1, h_\xi(\theta,\theta';x)\right\}$，其中 $h_\xi$ 包含目标密度的比值以及通过一个对合映射 $f$ 的变量变换校正项。
• 引入一种耦合-分离算法，从相同初始状态出发，对不同目标启动耦合链，从而可与精确链进行比较。
• 在辅助变量空间上使用一个对合映射 $f$，以确保细致平衡性，并在随机化核下保持目标分布不变。
• 推导出一种类似 Peskun 的排序关系，表明在温和条件下，随机化链在随机意义上被标准链支配，从而确保更优的混合性。
• 证明当对数目标比的估计量 $\hat{D}(W)$ 近似服从对数正态分布时，可计算校正项，且算法保持精确性。

实验结果

研究问题

• RQ1 在对估计量的分布假设较弱的前提下，使用对数目标比噪声估计的 MCMC 算法是否仍能收敛到正确的平衡分布？
• RQ2 在何种条件下，随机接受概率可保持梅特罗波利斯-黑斯廷斯 MCMC 中的目标分布？
• RQ3 如何使近似 MCMC 链在有限时间内与精确链耦合，以确保以高概率产生完全相同的样本路径？
• RQ4 当校正项难以计算时，随机化 MCMC 中的近似偏差速率是多少？与蒙特卡洛误差相比如何？
• RQ5 现有的算法（如惩罚法、通用算法和单变量交换法）能否统一在一个随机化 MCMC 的统一框架下？

主要发现

• 所提出的随机化 MCMC 算法在对数目标比估计量 $\hat{D}(W)$ 服从对数正态分布时，能保持正确的目标分布作为平衡分布。
• 该算法的近似版本在平均意义上，可在长度为 $n$ 的模拟中产生 $O(m)$ 个与精确耦合链相同的样本，表明其在实践中具有高度保真度。
• 近似偏差受 $O(1/m)$ 限制，其衰减速率快于 $O(1/\sqrt{n})$ 的蒙特卡洛误差，因此在固定精度下可忽略不计。
• 该方法将三种现有算法——Ceperley 和 Dewing 的惩罚法、Ball 等人的通用算法以及 Murray 等人的单变量交换法——统一为特例。
• Peskun 排序关系表明，随机化链在随机意义上被标准链支配，意味着其具有更优的混合性与更快的收敛速度。
• 当辅助变量密度 $\xi$ 与 $\theta$ 和 $\theta'$ 无关时，满足小化条件，且具有统一的下界 $\epsilon > 0$，从而确保几何遍历性。