[论文解读] Multilevel Monte Carlo for Scalable Bayesian Computations

Michael B. Giles, Tigran Nagapetyan+3 more|arXiv (Cornell University)|Sep 15, 2016

Markov Chains and Monte Carlo Methods参考文献 15被引用 5

一句话总结

本文提出多级随机梯度朗之万动力学（ML-SGLD），一种新颖算法，在保持SGLD可扩展性的同时，实现了标准MCMC的最优 $Ø(c^{-1/2})$ 收敛速率。通过结合反向耦合、基于泰勒展开的随机梯度以及路径平均，ML-SGLD降低了方差，并实现了与数据集规模呈次线性计算成本的缩放，优于标准SGLD，且在无需Metropolis-Hastings校正的情况下达到MCMC的效率。

ABSTRACT

Markov chain Monte Carlo (MCMC) algorithms are ubiquitous in Bayesian computations. However, they need to access the full data set in order to evaluate the posterior density at every step of the algorithm. This results in a great computational burden in big data applications. In contrast to MCMC methods, Stochastic Gradient MCMC (SGMCMC) algorithms such as the Stochastic Gradient Langevin Dynamics (SGLD) only require access to a batch of the data set at every step. This drastically improves the computational performance and scales well to large data sets. However, the difficulty with SGMCMC algorithms comes from the sensitivity to its parameters which are notoriously difficult to tune. Moreover, the Root Mean Square Error (RMSE) scales as $\mathcal{O}(c^{-\frac{1}{3}})$ as opposed to standard MCMC $\mathcal{O}(c^{-\frac{1}{2}})$ where $c$ is the computational cost. We introduce a new class of Multilevel Stochastic Gradient Markov chain Monte Carlo algorithms that are able to mitigate the problem of tuning the step size and more importantly of recovering the $\mathcal{O}(c^{-\frac{1}{2}})$ convergence of standard Markov Chain Monte Carlo methods without the need to introduce Metropolis-Hasting steps. A further advantage of this new class of algorithms is that it can easily be parallelised over a heterogeneous computer architecture. We illustrate our methodology using Bayesian logistic regression and provide numerical evidence that for a prescribed relative RMSE the computational cost is sublinear in the number of data items.

研究动机与目标

• 为解决标准随机梯度MCMC（SGMCMC）方法中 $Ø(c^{-1/3})$ 的较差收敛速率问题，该问题虽具备可扩展性但限制了其精度。
• 为SGLD开发一种多级蒙特卡洛框架，以在无需Metropolis-Hastings校正的情况下恢复标准MCMC的 $Ø(c^{-1/2})$ 收敛速率。
• 通过基于泰勒展开的随机梯度和高效的路径耦合，实现与数据集规模 $N$ 呈次线性计算成本的缩放。
• 通过反向耦合和时间平均估计器提升数值稳定性并降低方差，从而增强实际性能。

提出的方法

• 提出一种多级SGLD框架，利用递减的步长层级 $h_l = 2^{-l}$ 将粗粒度路径与细粒度路径耦合。
• 在层级之间采用反向耦合以降低路径差异的方差，实现方差的 $Ø(h_l^2)$ 衰减，优于标准耦合的 $Ø(h_l)$ 衰减。
• 引入基于泰勒展开的得分函数近似方法，以降低每次梯度计算的计算成本，从而实现与 $N$ 呈次线性缩放。
• 在每个层级上对样本进行时间平均，以进一步降低方差，且不影响收敛速率。
• 基于耦合路径采用控制变量策略，以在各层级上降低方差，实现更精确的后验期望估计。
• 采用基于各层级均值增量与方差数值收敛性的停止准则，实现自适应计算。

实验结果

研究问题

• RQ1 多级蒙特卡洛技术能否有效与SGLD结合，以恢复标准MCMC的 $Ø(c^{-1/2})$ 收敛速率？
• RQ2 在多级SGLD框架中，反向耦合是否能消除先前MLMC方法中存在对数成本项？
• RQ3 基于泰勒展开的随机梯度能否实现与数据点数量 $N$ 呈次线性计算成本的缩放？
• RQ4 反向耦合、泰勒近似与路径平均的结合如何影响方差衰减与整体计算复杂度？
• RQ5 ML-SGLD在大规模贝叶斯推断中，能在显著降低计算成本的前提下，实现多大程度的MCMC级精度？

主要发现

• 所提出的基于泰勒梯度的反向ML-SGLD实现了 $Ø(c^{-1/2})$ 收敛速率，与标准MCMC一致，同时保持了可扩展性。
• 数值实验表明，计算成本随数据点数量 $N$ 呈次线性增长，尤其在采用泰勒近似与反向耦合的变体中表现显著。
• 路径差异的方差衰减速率达到 $Ø(h_l^2)$，显著优于标准耦合的 $Ø(h_l)$ 衰减，从而减少了每层级所需样本数。
• 反向耦合、泰勒近似与路径平均的结合显著降低了方差的乘法常数，整体复杂度优于基线ML-SGLD。
• 当相对均方误差为 $2^{-5}$ 时，最优ML-SGLD变体的计算成本随 $N$ 呈次线性缩放，而MALA（MCMC）的计算成本则随 $N$ 呈线性增长。
• 该算法天然支持层级与路径之间的并行化，适用于异构架构的高效实现。