[论文解读] Global consensus Monte Carlo

Lewis J. Rendell, Adam M. Johansen+2 more|arXiv (Cornell University)|Jul 24, 2018

Markov Chains and Monte Carlo Methods被引用 5

一句话总结

本文提出了一种基于辅助参数的工具化层次模型的分布式贝叶斯推断框架，通过引入控制辅助参数之间关联强度的顶层参数，实现全局共识蒙特卡洛采样。通过在扩展状态空间上构建MCMC和SMC算法，该方法在计算效率与后验保真度之间实现了权衡，且无需强分布假设。

ABSTRACT

To conduct Bayesian inference with large data sets, it is often convenient or necessary to distribute the data across multiple machines. We consider a likelihood function expressed as a product of terms, each associated with a subset of the data. Inspired by global variable consensus optimisation, we introduce an instrumental hierarchical model associating auxiliary statistical parameters with each term, which are conditionally independent given the top-level parameters. One of these top-level parameters controls the unconditional strength of association between the auxiliary parameters. This model leads to a distributed MCMC algorithm on an extended state space yielding approximations of posterior expectations. A trade-off between computational tractability and fidelity to the original model can be controlled by changing the association strength in the instrumental model. We further propose the use of a SMC sampler with a sequence of association strengths, allowing both the automatic determination of appropriate strengths and for a bias correction technique to be applied. In contrast to similar distributed Monte Carlo algorithms, this approach requires few distributional assumptions. The performance of the algorithms is illustrated with a number of simulated examples.

研究动机与目标

• 解决单机内存或计算能力不足以处理大规模数据集时的贝叶斯推断挑战。
• 克服对似然函数有强假设且依赖事后聚合的显而易见并行MCMC方法的局限性。
• 开发一种分布式MCMC和SMC框架，避免最终聚合步骤的同时保持对真实后验的保真度。
• 在传统共识方法失效的高维或非高斯似然设置下，实现高效采样。
• 提供一种偏差校正、自适应的SMC过程，可自动确定最优正则化强度，无需人工调参。

提出的方法

• 为每个数据块引入一个工具化层次模型，包含辅助参数，且在给定主参数Z的条件下条件独立。
• 增加一个顶层参数以控制辅助参数之间的无条件关联强度，从而在计算可行性与模型保真度之间取得平衡。
• 在扩展状态空间上构建MCMC算法，以目标联合后验分布Z与辅助参数。
• 实施一种序列蒙特卡洛（SMC）采样器，通过一系列关联强度值来优化估计并实现偏差校正。
• 在SMC框架中使用加权最小二乘法进行偏差校正，降低对单一正则化参数的依赖。
• 应用自适应程序（Zhou et al., 2016）动态选择关联强度值，提升收敛性与准确性。

实验结果

研究问题

• RQ1 如何在不依赖独立链路事后聚合的情况下，高效地在分布式环境中执行贝叶斯推断？
• RQ2 关联强度参数对计算效率与后验近似精度之间权衡的影响是什么？
• RQ3 具有自适应正则化的序列蒙特卡洛方法是否能相比固定参数方法提升估计精度并减少偏差？
• RQ4 在何种场景下，所提方法优于传统共识蒙特卡洛和显而易见并行MCMC方法？
• RQ5 如何自动校正后验近似中的偏差，而无需手动调节正则化参数？

主要发现

• 基于SMC的估计器结合自适应停止规则，相较于初始粒子集（0.0692），均方误差总和降低了47%（降至0.0367）。
• 在100次迭代后，SMC方法将估计误差降低了40%（从0.0692降至0.0418），表明其在精度上优于单参数方法。
• 偏差校正程序显著优于初始估计器，尤其是在结合自适应停止规则时表现更优。
• 该方法对似然贡献无强分布假设，适用于非高斯或高维模型。
• 在似然为非高斯或高维下信息量不足的场景中，该方法有效，而传统共识蒙特卡洛因偏差过高而失效。
• 该方法的应用不仅限于分布式环境，如通过变量分裂（例如，Vono et al., 2019a）与串行实现兼容，表明其具备更广泛适用性。