[论文解读] Control Variates for Reversible MCMC Samplers

Πέτρος Δελλαπόρτας, Ioannis Kontoyiannis|arXiv (Cornell University)|Aug 7, 2010

Markov Chains and Monte Carlo Methods参考文献 67被引用 4

一句话总结

本文提出了一种新颖且一致的估计方法，用于可逆MCMC采样器中最优控制变量子系数的估计，该方法利用泊松方程的有限维解。通过从平稳分布和转移核导出的函数构造控制变量子，实现了显著的方差减少——在某些情况下甚至达到‘戏剧性’的减少效果，尤其在共轭Gibbs采样和吉布斯内梅特罗波利斯（Metropolis-within-Gibbs）设置中表现优异。

ABSTRACT

A general methodology is introduced for the construction and effective application of control variates to estimation problems involving data from reversible MCMC samplers. We propose the use of a specific class of functions as control variates, and we introduce a new, consistent estimator for the values of the coefficients of the optimal linear combination of these functions. The form and proposed construction of the control variates is derived from our solution of the Poisson equation associated with a specific MCMC scenario. The new estimator, which can be applied to the same MCMC sample, is derived from a novel, finite-dimensional, explicit representation for the optimal coefficients. The resulting variance-reduction methodology is primarily applicable when the simulated data are generated by a conjugate random-scan Gibbs sampler. MCMC examples of Bayesian inference problems demonstrate that the corresponding reduction in the estimation variance is significant, and that in some cases it can be quite dramatic. Extensions of this methodology in several directions are given, including certain families of Metropolis-Hastings samplers and hybrid Metropolis-within-Gibbs algorithms. Corresponding simulation examples are presented illustrating the utility of the proposed methods. All methodological and asymptotic arguments are rigorously justified under easily verifiable and essentially minimal conditions.

研究动机与目标

• 为解决由于马氏依赖复杂性以及缺乏已知零均值函数，导致MCMC中有效控制变量子方法匮乏的问题。
• 利用相同的MCMC样本，提出一种一致且可计算的最优控制变量子系数估计方法，克服无限维方差估计的挑战。
• 为共轭Gibbs采样器以及某些梅特罗波利斯-黑斯廷斯（Metropolis-Hastings）和混合算法提供一个理论严谨、条件最少的方差减少框架。
• 在可验证条件下，建立所提估计量的一致性与渐近正态性。

提出的方法

• 从目标分布与MCMC核相关的泊松方程的解中推导控制变量子，确保在平稳测度下其均值为零。
• 为控制变量子线性组合中的最优系数向量 θ* 提供一种有限维、显式表示。
• 提出一种基于转移核与平稳测度导出函数的经验平均的θ*一致估计量，适用于相同的MCMC样本。
• 利用大数定律与鞅技术，在最小条件下证明系数与方差估计量的几乎必然收敛性。
• 将该方法应用于共轭随机扫描Gibbs采样器，其中控制变量子由充分统计量及其条件期望构造。
• 通过调整泊松方程的解与系数估计方法，将该框架扩展至梅特罗波利斯-黑斯廷斯与混合梅特罗波利斯-吉布斯采样器。

实验结果

研究问题

• RQ1 能否利用泊松方程的解，系统性地为可逆MCMC采样器构造控制变量子？
• RQ2 是否可能仅使用MCMC样本，一致地估计控制变量子线性组合的最优系数，而无需额外的模拟？
• RQ3 在共轭Gibbs采样器与梅特罗波利斯-黑斯廷斯采样器中，该方法可实现的理论方差减少程度如何？
• RQ4 在最小正则性条件下，所提系数与方差估计量的渐近行为如何？
• RQ5 该方法能否扩展至结合梅特罗波利斯与吉布斯步骤的混合算法？

主要发现

• 在最小且可验证的条件下，所提最优控制变量子系数估计量几乎必然收敛至真实最优值。
• MCMC估计量的方差显著降低，某些贝叶斯推断问题中减少效果被描述为‘戏剧性’。
• 该方法在共轭随机扫描Gibbs采样器中尤为有效，其中控制变量子由充分统计量及其条件期望构造。
• 受控估计量的渐近方差严格小于标准遍历平均的方差，其减少量可通过泊松方程的解进行量化。
• 通过将大数定律应用于原始MCMC过程导出的双变量与多变量链，证明了系数估计量的一致性。
• 该框架被扩展至梅特罗波利斯-黑斯廷斯与混合算法，模拟示例展示了其实际效用与显著的方差减少效果。