[论文解读] Asymptotically Exact, Embarrassingly Parallel MCMC

Willie Neiswanger, Chong Wang+1 more|arXiv (Cornell University)|Nov 19, 2013

Markov Chains and Monte Carlo Methods参考文献 23被引用 194

一句话总结

本文提出了一种显而易见的并行马尔可夫链蒙特卡洛（MCMC）方法，将数据分区分配到多个机器上，使得在采样过程中各机器之间无需通信，即可独立地对每个子集进行MCMC采样。该方法通过参数化、非参数化或半参数化密度乘积估计，将子后验样本组合起来，从而从完整数据后验分布中生成渐近精确的样本，显著加速了大规模数据场景下的预烧尽和采样过程。

ABSTRACT

Communication costs, resulting from synchronization requirements during learning, can greatly slow down many parallel machine learning algorithms. In this paper, we present a parallel Markov chain Monte Carlo (MCMC) algorithm in which subsets of data are processed independently, with very little communication. First, we arbitrarily partition data onto multiple machines. Then, on each machine, any classical MCMC method (e.g., Gibbs sampling) may be used to draw samples from a posterior distribution given the data subset. Finally, the samples from each machine are combined to form samples from the full posterior. This embarrassingly parallel algorithm allows each machine to act independently on a subset of the data (without communication) until the final combination stage. We prove that our algorithm generates asymptotically exact samples and empirically demonstrate its ability to parallelize burn-in and sampling in several models.

研究动机与目标

• 解决传统并行MCMC在分布式数据环境下通信和计算成本过高的问题。
• 在不牺牲渐近精确性的情况下，实现MCMC中预烧尽和采样阶段的并行化。
• 开发一种后处理组合程序，将子后验样本转换为完整数据后验样本。
• 确保该方法与现有MCMC软件和框架（如MapReduce）兼容。
• 在各种组合策略下，证明渐近精确性的理论保证。

提出的方法

• 将完整数据集划分为M个互不相交的子集，并在每个子集上独立执行MCMC采样，以生成子后验样本。
• 将子后验密度定义为 p_m(θ) ∝ p(θ) * p(x_{nm}|θ)^(1/M)，其中 x_{nm} 表示第m个数据子集。
• 使用参数化、非参数化或半参数化估计方法，将子后验样本组合为完整后验密度乘积的估计。
• 对于参数化组合，对子后验样本拟合多元正态分布，并通过精度加权均值和协方差计算乘积。
• 对于非参数化组合，使用核密度估计近似子后验密度的乘积。
• 对于半参数化组合，将参数化和非参数化组件结合，以在准确性和可扩展性之间取得平衡。

实验结果

研究问题

• RQ1 在仅需最少通信的情况下，能否在数据分区上有效并行化MCMC采样，同时保持渐近精确性？
• RQ2 不同的密度乘积估计策略（参数化、非参数化、半参数化）如何影响组合后验样本的准确性和收敛性？
• RQ3 与单链MCMC相比，该方法在大规模场景下是否能减少预烧尽时间并加速采样？
• RQ4 当后验分布的维度和多模态性增加时，该方法的可扩展性如何？
• RQ5 该方法能否在MapReduce风格的分布式计算框架中高效实现？

主要发现

• 参数化组合方法在高维合成数据中收敛最快且可扩展性最佳，优于非参数化和半参数化方法。
• 在贝叶斯逻辑斯蒂回归中，该并行方法在M=50个划分下，分类准确率更高，且速度比单链MCMC快达10倍。
• 对于多模态后验分布（如高斯混合模型），参数化和subpostAvg方法产生了有偏样本，未能捕捉多模态性，而非参数化和半参数化方法则正确恢复了真实后验分布。
• 在层次化泊松-伽马模型中，所提出的组合方法在预烧尽和收敛至低后验误差方面，显著快于subpostAvg、subpostPool和全链方法。
• 非参数化和半参数化组合程序生成了渐近精确的样本，且随着子后验样本数量的增加，误差趋近于零。
• 该方法在实际应用中表现出实用价值，包括森林覆盖类型预测任务，实现了可测量的速度提升并保持了准确性。