[论文解读] Diffusion approximations and control variates for MCMC

Nicolas Brosse, Alain Durmus+3 more|arXiv (Cornell University)|Aug 5, 2018

Markov Chains and Monte Carlo Methods参考文献 35被引用 14

一句话总结

本文提出了一种在马尔可夫链蒙特卡洛（MCMC）中构建控制变量子的新方法，以减少估计量的渐近方差。通过在一类函数上最小化兰杰温扩散的渐近方差，该方法利用扩散近似来设计有效的控制变量子，显著降低了MALA和RWM等MCMC采样器的方差，具有理论保证，并在贝叶斯推断问题中得到经验验证。

ABSTRACT

A new methodology is presented for the construction of control variates to reduce the variance of additive functionals of Markov Chain Monte Carlo (MCMC) samplers. Our control variates are definedthrough the minimization of the asymptotic variance of the Langevin diffusion over a family of functions, which can be seen as a quadratic risk minimization procedure. The use of these control variates is theoretically justified. We show that the asymptotic variances of some well-known MCMC algorithms, including the Random Walk Metropolis and the (Metropolis) Unadjusted/Adjusted Langevin Algorithm, are close to the asymptotic variance of the Langevin diffusion. Several examples of Bayesian inference problems demonstrate that the corresponding reduction in the variance is significant.

研究动机与目标

• 减少MCMC方法中蒙特卡洛估计量的渐近方差，这对提高采样效率至关重要。
• 开发一种系统化的方法，利用兰杰温SDE的渐近方差作为参考，构建控制变量子。
• 证明基于兰杰温SDE生成元导出的控制变量子在离散时间MCMC算法中的有效性。
• 证明MALA和RWM等MCMC算法的渐近方差可被连续时间兰杰温扩散的良好近似。
• 提供理论和实证证据，表明所提出的控制变量子在贝叶斯推断问题中能实现显著的方差减少。

提出的方法

• 通过在SDE生成元像空间中的一类函数上最小化兰杰温扩散的渐近方差，来构建控制变量子。
• 使用生成元 $\mathscr{L}\varphi = -\langle \nabla U, \nabla \varphi \rangle + \Delta \varphi $ 定义光滑函数 $ g $ 的控制泛函 $ h = \mathscr{L}g $。
• 通过二次风险最小化，最小化受控估计量的渐近方差，从而在 $ L^2 $ 意义下获得最优控制变量子。
• 通过证明MALA和RWM的渐近方差与兰杰温扩散的渐近方差接近（相差一个缩放因子），提供理论依据。
• 通过贝叶斯推断中的实例验证该方法，表明在实践中实现了显著的方差减少。
• 利用Lyapunov函数 $ V_{\bar{\eta}}(x) = \exp(\bar{\eta} \|x\|^2) $ 建立漂移条件，确保MALA核的几何遍历性。

实验结果

研究问题

• RQ1 能否通过兰杰温扩散生成元导出的控制变量子，有效减少离散时间MCMC采样器的渐近方差？
• RQ2 MALA和RWM的渐近方差与连续时间兰杰温扩散的渐近方差有多接近？
• RQ3 在何种条件下，通过扩散近似构造的控制变量子能实现可证明的方差减少？
• RQ4 在实际的贝叶斯推断场景中，该新方法在多大程度上能减少MCMC估计量的渐近方差？
• RQ5 在势函数 $ U $ 的何种正则性条件下，扩散近似成立且控制变量子方法保持有效？

主要发现

• 证明了MALA和RWM算法的渐近方差与兰杰温扩散的渐近方差接近，从而为使用基于扩散的控制变量子提供了依据。
• 所提出的控制变量子，通过最小化兰杰温SDE的渐近方差导出，在贝叶斯推断实例中显示出MCMC估计量的显著方差减少。
• 该方法提供了一个理论基础坚实的框架，通过在生成元 $ \mathscr{L} $ 的像空间上进行二次风险最小化，构建控制变量子。
• 通过Lyapunov函数建立了MALA的漂移条件，证明了其几何遍历性，支持了扩散近似的有效性。
• 理论分析确认，受控估计量 $ \sigma^2_{\infty,\text{d}}(f+h) $ 的渐近方差上界不超过原始估计量的渐近方差，在 $ U $ 的温和条件下可获得显式上界。
• 实证结果表明，方差减少效果显著，尤其在高维设置下，由于控制变量子有效抵消了高方差分量。