[论文解读] Acceleration of expensive computations in Bayesian statistics using vector operations.

David J. Warne, Scott A. Sisson+1 more|arXiv (Cornell University)|Feb 25, 2019

Gaussian Processes and Bayesian Inference被引用 3

一句话总结

本文展示了，通过在标准编程库中利用单指令多数据（SIMD）向量操作，可在串行代码中将计算密集型贝叶斯计算加速高达6倍，在4路并行环境下接近19倍，为更广泛的贝叶斯社区提供了一种实用且易于访问的GPGPU方法替代方案。

ABSTRACT

Many applications in Bayesian statistics are extremely computationally intensive. However, they are also often inherently parallel, making them prime targets for modern massively parallel central processing unit (CPU) architectures. While the use of multi-core and distributed computing is widely applied in the Bayesian community, very little attention has been given to fine-grain parallelisation using single instruction multiple data (SIMD) operations that are available on most modern commodity CPUs. Rather, most fine-grain tuning in the literature has centred around general purpose graphics processing units (GPGPUs). Since the effective utilisation of GPGPUs typically requires specialised programming languages, such technologies are not ideal for the wider Bayesian community. In this work, we practically demonstrate, using standard programming libraries, the utility of the SIMD approach for several topical Bayesian applications. In particular, we consider sampling of the prior predictive distribution for approximate Bayesian computation (ABC), the computation of Bayesian $p$-values for testing prior weak informativeness, and inference on a computationally challenging econometrics model. Through minor code alterations, we show that SIMD operations can improve the floating point arithmetic performance resulting in up to $6 imes$ improvement in the overall serial algorithm performance. Furthermore $4$-way parallel versions can lead to almost $19 imes$ improvement over a na\{i}ve serial implementation. We illustrate the potential of SIMD operations for accelerating Bayesian computations and provide the reader with essential implementation techniques required to exploit modern massively parallel processing environments using standard software development tools.

研究动机与目标

• 解决尽管现代CPU上已具备SIMD并行性，但在贝叶斯统计中仍被严重低估利用的问题。
• 克服基于GPGPU的加速方法的局限性，后者需要专用编程语言，阻碍了更广泛的应用。
• 通过仅使用标准编程库，在关键贝叶斯应用中展示实际的性能提升。
• 提供在贝叶斯工作流中利用SIMD的可访问实现技术，而无需低级GPU编程。
• 阐明细粒度CPU并行性在计算昂贵的贝叶斯推断任务中的可行性和影响。

提出的方法

• 使用标准CPU指令集，在贝叶斯算法中应用SIMD向量操作以加速浮点数运算。
• 对近似贝叶斯计算（ABC）中的先验预测抽样操作进行少量代码修改以实现向量化。
• 将SIMD优化扩展至计算贝叶斯p值，以评估先验的弱信息性。
• 将该方法应用于一个具有挑战性的计量经济学模型，以评估实际性能提升。
• 使用标准软件开发工具和库，确保与现有贝叶斯工作流的广泛兼容性和可访问性。
• 相对于原始串行实现，测量在串行和4路SIMD并行配置下的性能提升。

实验结果

研究问题

• RQ1 在不需专用编程的情况下，SIMD向量操作能在多大程度上加速串行贝叶斯计算？
• RQ2 通过SIMD优化，在ABC的先验预测抽样中能获得多大的性能提升？
• RQ3 SIMD加速能否有效应用于计算贝叶斯p值以进行先验敏感性分析？
• RQ4 在4路并行配置下，SIMD在多个核心上的可扩展性如何？
• RQ5 在实际的计量经济学模型中，SIMD性能与原始串行实现相比如何？

主要发现

• SIMD向量操作在测试的贝叶斯应用中，将串行算法性能最高提升了6倍。
• 4路并行SIMD实现相较于原始串行实现，实现了接近19倍的加速。
• 性能提升通过少量代码修改实现，仅使用标准编程库和CPU原生指令集。
• 该方法实用且易于访问，避免了对专用GPGPU语言或硬件的需求。
• 该方法在多种贝叶斯任务中表现出一致的加速效果，包括ABC、先验检验和计量建模。
• 结果表明，SIMD是加速主流软件栈中贝叶斯计算的一种可行且被低估的替代方案，相较于GPGPU具有优势。