[论文解读] Adaptive Sequential Posterior Simulators for Massively Parallel Computing Environments

Garland Durham, John Geweke|arXiv (Cornell University)|Apr 16, 2013

Statistical Methods and Bayesian Inference被引用 8

一句话总结

本文提出了一种基于顺序蒙特卡罗（SMC）的自适应序列后验模拟器，利用大规模并行GPU架构，实现了快速、可靠且计算高效的贝叶斯推断。该方法仅需先验抽样和密度评估，即可提供精确的边缘似然值和数值标准误，并在预测似然计算方面相比传统MCMC最高提升100,000倍。

ABSTRACT

Massively parallel desktop computing capabilities now well within the reach of individual academics modify the environment for posterior simulation in fundamental and potentially quite advantageous ways. But to fully exploit these benefits algorithms that conform to parallel computing environments are needed. Sequential Monte Carlo comes very close to this ideal whereas other approaches like Markov chain Monte Carlo do not. This paper presents a sequential posterior simulator well suited to this computing environment. The simulator makes fewer analytical and programming demands on investigators, and is faster, more reliable and more complete than conventional posterior simulators. The paper extends existing sequential Monte Carlo methods and theory to provide a thorough and practical foundation for sequential posterior simulation that is well suited to massively parallel computing environments. It provides detailed recommendations on implementation, yielding an algorithm that requires only code for simulation from the prior and evaluation of prior and data densities and works well in a variety of applications representative of serious empirical work in economics and finance. The algorithm is robust to pathological posterior distributions, generates accurate marginal likelihood approximations, and provides estimates of numerical standard error and relative numerical efficiency intrinsically. The paper concludes with an application that illustrates the potential of these simulators for applied Bayesian inference.

研究动机与目标

• 开发一种适用于现代大规模并行计算环境（尤其是GPU）的通用且高效的后验模拟器。
• 通过仅需先验抽样和密度评估，降低研究人员在分析和编程上的负担。
• 提供稳健、精确且可自我量化推断（包括数值标准误和边缘似然）的结果，而无需依赖MCMC。
• 使原本因计算不可行而无法使用串行MCMC处理的模型实现实际的贝叶斯推断。
• 建立一个理论基础坚实、可扩展且广泛适用于计量经济学和金融学中序列后验模拟的框架。

提出的方法

• 该方法采用自适应顺序蒙特卡罗（SMC）算法，通过重采样和粒子重新加权，随着数据的逐步到达，连续更新后验分布。
• 利用GPU上的单指令多数据（SIMD）架构，同时并行化数千个粒子的更新和重采样操作。
• 该算法仅需用户定义先验抽样函数以及先验和似然密度的评估函数。
• 基于有效样本量触发自适应重采样，以维持粒子多样性并防止退化。
• 通过SMC证据近似估计边缘似然，数值标准误则从粒子权重中内生计算得出。
• 该模拟器支持完整的后验探索，包括用于模型评估的概率积分变换等诊断工具。

实验结果

研究问题

• RQ1 能否开发一种通用的后验模拟器，仅需在先验抽样和密度评估之外的用户输入极少？
• RQ2 在串行环境下，基于GPU的SMC后验模拟与传统MCMC相比，在速度和可靠性方面表现如何？
• RQ3 SMC-based模拟器能否稳健处理病态后验分布（如多模态或重尾分布）？
• RQ4 SMC-based推断在多大程度上能内生地提供精确的边缘似然值和标准误估计？
• RQ5 GPU加速对复杂模型贝叶斯推断可行性的影响在实际中有多大？

主要发现

• 所提出的SMC模拟器在真实宏观经济模型中计算边缘似然值时，相比MCMC实现了100,000倍的速度提升。
• 在简单后验矩的计算中，SMC方法在串行环境下比随机游走Metropolis MCMC快近10倍。
• 该模拟器提供了精确的边缘似然近似值，以及内生的数值标准误和相对效率估计。
• 它对多模态后验分布表现出稳健性，这是MCMC方法已知的挑战。
• 该算法仅需先验抽样和密度评估，显著降低了实现负担。
• 仅使用一块GPU，即可在数小时内完成原本使用MCMC在CPU上需超过2年才能完成的相同预测似然任务。