[论文解读] Establishing some order amongst exact approximations of MCMCs

Christophe Andrieu, Matti Vihola|arXiv (Cornell University)|Apr 28, 2014

Markov Chains and Monte Carlo Methods参考文献 40被引用 8

一句话总结

本文通过引入凸序作为充分条件，建立了一个通用框架，用于比较精确的近似MCMC算法，从而对均值接受概率、自相关性、渐近方差和谱间隙等性能度量进行随机排序。关键贡献在于提出了一种鞅耦合构造方法，使具有不同不变分布的马尔可夫链之间能够进行比较，证明凸序几乎是最优的——更差的方差序无法确保性能排序。

ABSTRACT

Exact approximations of Markov chain Monte Carlo (MCMC) algorithms are a general emerging class of sampling algorithms. One of the main ideas behind exact approximations consists of replacing intractable quantities required to run standard MCMC algorithms, such as the target probability density in a Metropolis-Hastings algorithm, with estimators. Perhaps surprisingly, such approximations lead to powerful algorithms which are exact in the sense that they are guaranteed to have correct limiting distributions. In this paper we discover a general framework which allows one to compare, or order, performance measures of two implementations of such algorithms. In particular, we establish an order with respect to the mean acceptance probability, the first autocorrelation coefficient, the asymptotic variance and the right spectral gap. The key notion to guarantee the ordering is that of the convex order between estimators used to implement the algorithms. We believe that our convex order condition is close to optimal, and this is supported by a counter-example which shows that a weaker variance order is not sufficient. The convex order plays a central role by allowing us to construct a martingale coupling which enables the comparison of performance measures of Markov chain with differing invariant distributions, contrary to existing results. We detail applications of our result by identifying extremal distributions within given classes of approximations, by showing that averaging replicas improves performance in a monotonic fashion and that stratification is guaranteed to improve performance for the standard implementation of the Approximate Bayesian Computation (ABC) MCMC method.

研究动机与目标

• 开发一个通用框架，用于比较用无偏估计器替代不可计算目标密度的精确近似MCMC算法的性能。
• 识别伪边缘算法的一种实现相对于另一种在关键收敛度量上占优的条件。
• 建立估计器之间的凸序是性能度量随机占优的充分且近乎必要条件。
• 使具有不同不变分布的马尔可夫链之间能够进行比较，克服了先前方法的关键局限性。
• 提供实用工具，通过估计器设计（如平均多个副本或分层）提升MCMC效率。

提出的方法

• 引入一个正式框架，利用目标密度估计器之间的凸序来比较伪边缘MCMC算法。
• 使用鞅耦合构造方法比较具有不同不变分布的马尔可夫链，从而在平衡测度不同的情况下仍能进行性能比较。
• 应用可逆性与谱间隙理论，推导出所生成链的右谱间隙和左谱间隙的界。
• 基于估计器的凸序，推导出渐近方差、一阶自相关系数和均值接受概率的不等式。
• 利用引理45分析向状态空间中添加辅助变量（如估计器值）的影响，保持可逆性并允许谱间隙比较。
• 将该框架应用于ABC-MCMC，证明通过估计器平均化和分层可实现单调性能改进。

实验结果

研究问题

• RQ1 在何种条件下，一个精确的近似MCMC算法可在收敛度量上被另一个随机占优？
• RQ2 估计器之间的凸序是否足以保证渐近方差和谱间隙等性能度量的排序？
• RQ3 能否使用耦合技术对具有不同不变分布的马尔可夫链进行性能比较？
• RQ4 凸序是否接近最优？或者更弱的随机序（如方差序）是否足以实现此类比较？
• RQ5 该框架如何应用于改进实际实现，例如在采用分层或平均估计器的ABC-MCMC中？

主要发现

• 估计器之间的凸序足以对精确近似MCMC算法的均值接受概率、一阶自相关系数、渐近方差和谱间隙实现随机排序。
• 鞅耦合构造方法使具有不同不变分布的链之间能够进行比较，这是对先前方法的重要改进。
• 反例表明，更弱的方差序不足以保证性能排序，说明凸序几乎是最优的。
• 在凸序框架下，对估计器的独立副本进行平均可实现性能度量的单调改进。
• 在ABC-MCMC中采用分层可保证性能提升，因为这会在生成的估计器之间诱导出凸序。
• 引理45中的谱间隙界表明，扩展链的右谱间隙上界为原链的谱间隙，下界为最小接受概率的函数。