[論文レビュー] Acceleration of expensive computations in Bayesian statistics using vector operations.

David J. Warne, Scott A. Sisson+1 more|arXiv (Cornell University)|Feb 25, 2019

Gaussian Processes and Bayesian Inference被引用数 3

ひとこと要約

この論文は、標準的なプログラミングライブラリでSingle Instruction, Multiple Data (SIMD)ベクタ演算を活用することで、計算負荷の高いベイズ計算を、シリアスコードでは最大6倍、4スレッド並列処理ではほぼ19倍に加速できることを示している。これは、広範なベイズコミュニティにとって、GPGPUベースの手法と比較して実用的でアクセスしやすい代替手段を提供する。

ABSTRACT

Many applications in Bayesian statistics are extremely computationally intensive. However, they are also often inherently parallel, making them prime targets for modern massively parallel central processing unit (CPU) architectures. While the use of multi-core and distributed computing is widely applied in the Bayesian community, very little attention has been given to fine-grain parallelisation using single instruction multiple data (SIMD) operations that are available on most modern commodity CPUs. Rather, most fine-grain tuning in the literature has centred around general purpose graphics processing units (GPGPUs). Since the effective utilisation of GPGPUs typically requires specialised programming languages, such technologies are not ideal for the wider Bayesian community. In this work, we practically demonstrate, using standard programming libraries, the utility of the SIMD approach for several topical Bayesian applications. In particular, we consider sampling of the prior predictive distribution for approximate Bayesian computation (ABC), the computation of Bayesian $p$-values for testing prior weak informativeness, and inference on a computationally challenging econometrics model. Through minor code alterations, we show that SIMD operations can improve the floating point arithmetic performance resulting in up to $6 imes$ improvement in the overall serial algorithm performance. Furthermore $4$-way parallel versions can lead to almost $19 imes$ improvement over a na\{i}ve serial implementation. We illustrate the potential of SIMD operations for accelerating Bayesian computations and provide the reader with essential implementation techniques required to exploit modern massively parallel processing environments using standard software development tools.

研究の動機と目的

• 現代のCPUに搭載されているにもかかわらず、ベイズ統計におけるSIMD並列処理の活用が不十分であるという問題に取り組む。
• 専門的な言語を必要とするGPGPUベースの高速化手法の限界を克服し、広範な採用を妨げる要因を解消する。
• 標準的なプログラミングライブラリのみを用いて、実際のベイズ応用分野における性能向上を実証する。
• 低レベルのGPUプログラミングを必要とせずに、ベイズワークフローでSIMDを活用するための実用的な実装技術を提供する。
• 計算コストの高いベイズ推論タスクにおける細粒度CPU並列処理の実現可能性と影響を示す。

提案手法

• 標準的なCPU命令セットを用いて、ベイズアルゴリズムにおける浮動小数点演算をSIMDベクタ演算で高速化する。
• 近似ベイズ推定（ABC）における事前予測サンプリングの操作をベクトル化するために、コードの軽微な変更を加える。
• SIMD最適化を、事前分布の弱い情報性を評価するためのベイズp値の計算へと拡張する。
• 実世界の性能向上を評価するために、挑戦的な計量経済学モデルにこのアプローチを適用する。
• 広範なアクセス性と既存のベイズパイプラインとの互換性を確保するため、標準的なソフトウェア開発ツールおよびライブラリを用いる。
• ナードなシリアス実装と比較して、シリアスおよび4スレッド並列SIMD構成における性能向上を測定する。

実験結果

リサーチクエスチョン

• RQ1 専門的なプログラミングを必要とせず、SIMDベクタ演算がシリアスなベイズ計算をどの程度高速化できるか。
• RQ2 SIMD最適化を用いることで、ABCの事前予測サンプリングにおける性能向上はどの程度達成できるか。
• RQ3 SIMDベースの高速化は、事前分布感度分析のためのベイズp値計算に効果的に適用可能か。
• RQ4 4スレッド並列構成における複数コアへのSIMDのスケーラビリティはどの程度か。
• RQ5 実世界の計量経済学モデルにおいて、SIMD性能はナードなシリアス実装と比べてどの程度優れているか。

主な発見

• SIMDベクタ演算により、テストされたベイズ応用分野において、シリアスアルゴリズムの性能が最大6倍向上した。
• 4スレッド並列SIMD実装では、ナードなシリアス実装と比較してほぼ19倍の高速化が達成された。
• 性能向上は、標準的なプログラミングライブラリおよびCPUネイティブ命令セットのみを用いた軽微なコード変更によって達成された。
• このアプローチは実用的でアクセスしやすく、専門的なGPGPU言語やハードウェアを必要としない。
• ABC、事前チェック、計量経済モデリングを含む多様なベイズタスクにおいて、一貫した高速化が確認された。
• 結果として、SIMDはGPGPUと比較して実用的で、かつ未だに活用が不十分な、主流のソフトウェアスタックにおけるベイズ計算の高速化の代替手段であることが示された。