[論文レビュー] Bayesian State-Space Modelling on High-Performance Hardware Using LibBi

Lawrence M. Murray|arXiv (Cornell University)|Jun 14, 2013

Target Tracking and Data Fusion in Sensor Networks参考文献 11被引用数 41

ひとこと要約

この論文では、現代の並列ハードウェア—CPU、GPU、クラスタ—を活用するドメイン固有言語を通じて、高パフォーマンスなベイジアン状態空間モデリングを実現するソフトウェアフレームワークLibBiを提示する。順序モンテカルロ法（例：パーティクルフィルタリング、PMCMC、SMC²）を用いた効率的な推論が可能であり、線形3要素風切模型と非線形Lorenz '96モデルの2つの事例研究を通じて、さまざまなアーキテクチャで顕著な性能向上を示した。

ABSTRACT

LibBi is a software package for state-space modelling and Bayesian inference on modern computer hardware, including multi-core central processing units (CPUs), many-core graphics processing units (GPUs) and distributed-memory clusters of such devices. The software parses a domain-specific language for model specification, then optimises, generates, compiles and runs code for the given model, inference method and hardware platform. In presenting the software, this work serves as an introduction to state-space models and the specialised methods developed for Bayesian inference with them. The focus is on sequential Monte Carlo (SMC) methods such as the particle filter for state estimation, and the particle Markov chain Monte Carlo (PMCMC) and SMC^2 methods for parameter estimation. All are well-suited to current computer hardware. Two examples are given and developed throughout, one a linear three-element windkessel model of the human arterial system, the other a nonlinear Lorenz '96 model. These are specified in the prescribed modelling language, and LibBi demonstrated by performing inference with them. Empirical results are presented, including a performance comparison of the software with different hardware configurations.

研究の動機と目的

• 複雑な動的システムにおける不確実性を伴うスケーラブルなベイジアン推論の増大するニーズに対応すること。
• マルチコアCPU、GPU、分散クラスタなどの現代的な並列ハードウェアアーキテクチャを効率的に活用するソフトウェアスタックの開発。
• 状態空間モデルの指定と高パフォーマンス推論のためのコード生成を自動化するドメイン固有言語の提供。
• 非線形的・非ガウス的・高次元な状態空間モデルに対して、パーティクルフィルタリング、PMCMC、SMC²といったSMCベースの手法の有効性の検証。
• 実世界の生理的およびカオス的動的モデルを対象として、LibBiのパフォーマンスをさまざまなハードウェアプラットフォームで評価すること。

提案手法

• LibBiは、パラメータ、状態、観測値、確率的要素を含む状態空間モデルをドメイン固有言語で指定する。
• システムはモデル仕様を解析し、SIMD（SSE）、OpenMP（共有メモリ）、MPI（分散メモリ）、CUDA（GPU）を用いた並列化を最適化したC++コードにコンパイルする。
• 順序モンテカルロ（SMC）法を実装し、状態推定にはパーティクルフィルタリング、状態とパラメータの同時推定にはPMCMCおよびSMC²を用いる。
• 事前分布は確率的ステートメント（例：ガンマ分布、正規分布、逆ガンマ分布）により指定され、初期条件は初期サブブロックで設定される。
• パラメータのための提案分布は、提案パラメータブロックで定義され、SMCフレームワーク内での効率的なMCMC移動を可能にする。
• 観測値は、例えばPa = Pp + Z*F + エラーのような決定論的変換の周囲のガウスノイズといった尤度モデルを通じて状態にリンクされる。

実験結果

リサーチクエスチョン

• RQ1 現代の高度に並列化されたコンピューティングアーキテクチャ上で、ベイジアン状態空間モデルをどのように効率的に実装できるか。
• RQ2 CPU、GPU、クラスタ上で、パーティクルフィルタリング、PMCMC、SMC²といったSMCベースの推論手法によって得られる性能向上はどの程度か。
• RQ3 LibBiのドメイン固有言語とコード生成パイプラインは、複雑な状態空間モデルの指定と実行をどの程度サポートするか。
• RQ4 非線形的・非ガウス的モデル、たとえば3要素風切模型やLorenz '96系に対して、SMC手法がどの程度正確な推論を提供するか。
• RQ5 実世界の動的システムに適用した際、LibBiのパフォーマンスはさまざまなハードウェア構成でどのように相違するか。

主な発見

• LibBiは、CPU、GPU、クラスタ上で、3要素風切模型とLorenz '96モデルの両方について、SMCベースの手法を用いて推論を正常にコンパイルおよび実行した。
• 風切模型は、R、C、Z、σ²というパラメータと、状態Ppを有し、観測値Paはガウス尤度により状態にリンクされた。
• Lorenz '96モデルは、非線形的・カオス的ダイナミクスのベンチマークとして用いられ、LibBiが高次元・非ガウス的状況下での能力を示した。
• パフォーマンスベンチマークでは、シングルスレッドCPU実行と比較してGPUおよびマルチコアCPUで顕著な高速化が達成され、分散クラスタでは強いスケーリングが確認された。
• CUDAとOpenMPの使用により、GPUおよび共有メモリ並列処理が効率的に行われ、MPIによりノード間の分散メモリ実行がサポートされた。
• 実験的結果から、PMCMCおよびSMC²手法が両モデルに対して正確な事後分布推定を提供することが確認され、複数反復のうちに収束が観察された。