[論文レビュー] Adaptive Sequential Posterior Simulators for Massively Parallel Computing Environments

Garland Durham, John Geweke|arXiv (Cornell University)|Apr 16, 2013

Statistical Methods and Bayesian Inference被引用数 8

ひとこと要約

この論文は、マス的に並列なGPUアーキテクチャを活用して、高速で信頼性が高く計算的に効率的なベイズ推論を可能にする、順次的後方分布シミュレータを提案する。事前分布からのシミュレーションと密度評価のみを必要とし、正確な周辺尤度と数値標準誤差を提供する。予測尤度計算において、従来のMCMCに比べ最大100,000倍の高速化を達成する。

ABSTRACT

Massively parallel desktop computing capabilities now well within the reach of individual academics modify the environment for posterior simulation in fundamental and potentially quite advantageous ways. But to fully exploit these benefits algorithms that conform to parallel computing environments are needed. Sequential Monte Carlo comes very close to this ideal whereas other approaches like Markov chain Monte Carlo do not. This paper presents a sequential posterior simulator well suited to this computing environment. The simulator makes fewer analytical and programming demands on investigators, and is faster, more reliable and more complete than conventional posterior simulators. The paper extends existing sequential Monte Carlo methods and theory to provide a thorough and practical foundation for sequential posterior simulation that is well suited to massively parallel computing environments. It provides detailed recommendations on implementation, yielding an algorithm that requires only code for simulation from the prior and evaluation of prior and data densities and works well in a variety of applications representative of serious empirical work in economics and finance. The algorithm is robust to pathological posterior distributions, generates accurate marginal likelihood approximations, and provides estimates of numerical standard error and relative numerical efficiency intrinsically. The paper concludes with an application that illustrates the potential of these simulators for applied Bayesian inference.

研究の動機と目的

• 現代のマス的に並列な計算環境、特にGPUを念頭に置いた汎用的かつ効率的な後方分布シミュレータの開発を目的とする。
• 研究者が事前分布のシミュレーションと密度評価のみを定義することで、解析的およびプログラミング的負担を軽減することを目的とする。
• MCMCに依存せずに、頑健で正確かつ自己定量的（数値標準誤差と周辺尤度を含む）な推論を提供することを目的とする。
• 計算的に非現実的であるため、逐次的MCMCでは扱えないモデルに対する実用的なベイズ推論を可能とすることを目的とする。
• 一般に適用可能でスケーラブルであり、経済学およびファイナンス分野における順次的後方分布シミュレーションの理論的裏付けに基づいたフレームワークを確立することを目的とする。

提案手法

• 本手法は、データの到着に応じて後方分布を逐次的に更新するため、リサンプリングと粒子再重み付けを用いた適応的順次モンテカルロ（SMC）を採用する。
• GPU上の単一命令複数データ（SIMD）アーキテクチャを活用し、数千個の粒子を同時に並列に更新およびリサンプリングする。
• アルゴリズムは、ユーザー定義関数としての事前分布シミュレーションおよび事前分布・尤度密度の評価のみを必要とする。
• 有効サンプルサイズに基づいて適応的リサンプリングをトリガーし、粒子の多様性を維持し、劣化を防ぐ。
• 周辺尤度はSMCの証拠近似により推定され、数値標準誤差は粒子重みから内蔵的に計算される。
• シミュレータは、確率積分変換によるモデル評価のための診断機能を含む、完全な後方分布の探索をサポートする。

実験結果

リサーチクエスチョン

• RQ1 事前分布のシミュレーションと密度評価のみを入力とすれば、最小限のユーザー入力で汎用的後方分布シミュレータを開発可能か？
• RQ2 GPU上で実行されるSMCベースの後方分布シミュレーションは、逐次的環境における従来のMCMCと比較して、速度と信頼性においてどのように差がつくか？
• RQ3 SMCベースのシミュレータは、多峰的または裾が重い分布のような病理的後方分布に対しても頑健に処理できるか？
• RQ4 SMCベースの推論は、内蔵的に正確な周辺尤度と標準誤差推定値を提供できるか、その程度はどの程度か？
• RQ5 GPUアクセラレーションは、複雑なモデルに対するベイズ推論の実用的可否に、どのような影響を及えるか？

主な発見

• 提案されたSMCシミュレータは、実世界のマクロ経済モデルにおいて、周辺尤度の計算でMCMCに比べ100,000倍の高速化を達成した。
• 単純な後方モーメントの計算において、ランダムウォークメトロポリスMCMCに比べ、シリアル環境でほぼ10倍の高速化を達成した。
• シミュレータは正確な周辺尤度の近似値と、内蔵的な数値標準誤差および相対効率の推定値を提供した。
• 多峰的後方分布に対しても頑健であることが示され、MCMC手法の知られている課題である。
• アルゴリズムは、事前分布のシミュレーションと密度評価のみを必要とし、実装負担を顕著に軽減した。
• 単一のGPUを用いることで、同じ予測尤度タスクをCPUでMCMCで実行するのに2年以上かかっていた計算を、実行可能にした。