[论文解读] Does waste-recycling really improve Metropolis-Hastings Monte Carlo algorithm?

Jean‐François Delmas, Benjamin Jourdain|arXiv (Cornell University)|Nov 30, 2006

Markov Chains and Monte Carlo Methods参考文献 12被引用 3

一句话总结

本文严格分析了浪费回收（WR）蒙特卡罗方法，将其视为一种控制变量子技巧，以减少马尔可夫链蒙特卡罗（Metropolis-Hastings）算法中的渐近方差。研究证明，尽管WR并不总是能提升性能——这与普遍直觉相悖——但在玻尔兹曼算法设定下，WR具有渐近优势，且可通过经验提议实现最优参数估计。

ABSTRACT

The Metropolis Hastings algorithm and its multi-proposal extensions are aimed at the computation of the expectation $$ of a function $f$ under a probability measure $π$ difficult to simulate. They consist in constructing by an appropriate acceptation/rejection procedure a Markov chain $(X_k,k\geq 0)$ with transition matrix $P$ such that $π$ is reversible with respect to $P$ and in estimating $$ by the empirical mean $I_n(f)=\inv{n}\sum_{k=1}^n f(X_k)$. The waste-recycling Monte Carlo (WR) algorithm introduced by physicists is a modification of the Metropolis-Hastings algorithm, which makes use of all the proposals in the empirical mean, whereas the standard Metropolis-Hastings algorithm only uses the accepted proposals. In this paper, we extend the WR algorithm into a general control variate technique and exhibit the optimal choice of the control variate in terms of asymptotic variance. We also give an example which shows that in contradiction to the intuition of physicists, the WR algorithm can have an asymptotic variance larger than the one of the Metropolis-Hastings algorithm. However, in the particular case of the Metropolis-Hastings algorithm called Boltzmann algorithm, we prove that the WR algorithm is asymptotically better than the Metropolis-Hastings algorithm.

研究动机与目标

• 严格评估浪费回收（WR）蒙特卡罗方法是否真正降低多提议马尔可夫链蒙特卡罗算法的渐近方差。
• 将WR形式化为一种通用的控制变量技术，并确定能最小化渐近方差的最优控制变量函数。
• 解决物理学文献中长期存在的假设——即WR总是能提高效率——通过构造一个方差反而增大的反例来澄清。
• 建立WR在渐近意义上优于标准马尔可夫链蒙特卡罗的条件，特别是在玻尔兹曼算法框架下。
• 在多提议设定下，提出一种基于经验提议的WR参数最优估计方法。

提出的方法

• 将WR估计量重述为 $ I_n(f) + J_n(\beta) $ 的形式，其中 $ J_n(\beta) $ 使用所有提议（包括被拒绝的），并将其视为控制变量问题。
• 利用马尔可夫链的中心极限定理推导WR估计量的渐近方差，表明其依赖于控制变量 $ \psi $ 的选择。
• 将最优控制变量 $ F $ 识别为泊松方程 $ F - P F = f - \langle \pi, f \rangle $ 的解，该解可最小化渐近方差。
• 在多提议情形下，提出WR的线性参数推广 $ J_n(b f) $，并基于马尔可夫链路径推导最优 $ b_* $ 的估计量。
• 利用遍历定理和鞅技巧，在较弱条件下证明WR估计量的几乎必然收敛性和渐近正态性。
• 在单提议情形下构造一个反例，表明WR的渐近方差可能大于标准马尔可夫链蒙特卡罗方法。

实验结果

研究问题

• RQ1 浪费回收是否总是降低马尔可夫链蒙特卡罗估计量的渐近方差，如物理学文献中普遍认为的那样？
• RQ2 WR算法能否被正式表述为一种控制变量技术？在最小化渐近方差的意义下，最优控制变量函数是什么？
• RQ3 在哪些特定情形下——尤其是玻尔兹曼算法——WR在渐近效率上优于标准马尔可夫链蒙特卡罗？
• RQ4 是否能够仅基于马尔可夫链路径来估计参数族中WR估计量的最优参数？
• RQ5 在使用一般控制变量时，WR估计量的一致性和渐近正态性的条件是什么？

主要发现

• WR算法并非普遍提升性能：在单提议情形下构造的反例表明，其渐近方差可能大于标准马尔可夫链蒙特卡罗方法。
• 在WR框架中，最优控制变量为泊松方程 $ F - P F = f - \langle \pi, f \rangle $ 的解 $ F $，该解可最小化渐近方差。
• 在玻尔兹曼算法设定下，WR算法在渐近意义上优于标准马尔可夫链蒙特卡罗方法，且其渐近方差可被严格证明更小。
• 对于多提议WR算法，参数族 $ J_n(b f) $ 中的最优参数 $ b_* $ 可基于马尔可夫链路径一致估计。
• WR估计量的渐近方差为 $ \tilde{\sigma}(f,\beta)^2 = \sigma(f,\beta)^2 + \int \pi(dx) \left[ \text{Var}_{{\mathcal{Q}}(x,\cdot)}(\kappa\beta_x - \kappa F_x) - \text{Var}_{{\mathcal{Q}}(x,\cdot)}(\kappa F_x) \right] $，表明其依赖于 $ \beta $ 的选择。
• 估计量 $ I_n(f) + \mathcal{J}_n^\prime(\psi) $，其中 $ \mathcal{J}_n^\prime $ 使用修改后的选择核 $ \kappa' $，在Harris遍历性和可积性条件下是一致的，即使 $ \kappa' \neq \kappa $。