[論文レビュー] GPU-accelerated Gibbs Sampling.

Alexander Terenin, Subo Dong+1 more|arXiv (Cornell University)|Aug 15, 2016

Markov Chains and Monte Carlo Methods被引用数 4

ひとこと要約

この論文は、潜在変数を有する交換可能性のあるモデルに対して、GPUを活用した完全なデータ並列型ギブスサンプリング手法を提示しており、大規模なデータセットにおける効率的なベイズ推論を可能にしている。ホースシューブプロビット回帰に適用したところ、数千の予測子および数百万のデータポイントに対して効果的にスケーリングされ、逐次実装と比較して顕著な高速化が達成された。

ABSTRACT

Gibbs sampling is a widely used Markov Chain Monte Carlo (MCMC) method for numerically approximating integrals of interest in Bayesian statistics and other mathematical sciences. Many implementations of MCMC methods do not extend easily to parallel computing environments, as their inherently sequential nature incurs a large synchronization cost. In this paper, we show how to do Gibbs sampling in a fully data-parallel manner on a graphics processing unit (GPU) for a large class of exchangeable models that admit latent variable representations. We demonstrate the scheme on a horseshoe probit regression model, and find that our implementation scales effectively to thousands of predictors and millions of data points simultaneously.

研究の動機と目的

• 従来のギブスサンプリングが逐次計算環境において直面するスケーラビリティの制限を解消すること。
• 交換可能性のあるモデルに潜在変数構造を有する場合に、GPU上で効率的かつ完全にデータ並列型のギブスサンプリングを実現すること。
• 特に高次元回帰設定において、高性能なベイズ推論を大規模データセットで実現すること。
• GPUアーキテクチャにおけるデータ並列性を活用することで、MCMC手法に内在する同期オーバーヘッドを低減すること。

提案手法

• この手法は、GPUアーキテクチャ上で完全にデータ並列に動作するようにギブスサンプリングを再定式化し、逐次の依存関係を排除する。
• モデルの交換可能性を活用して、各データポイントの潜在変数の更新を独立して行えるようにする。
• 各データポイントの条件付き分布を別々のGPUスレッドまたはスレッドブロックにマッピングし、大規模な並列処理を実現する。
• 潜在変数の更新はGPUカーネルを用いて並列に計算され、反復間の同期は最小限に抑える。
• 本手法はホースシューブプロビット回帰モデルに適用され、効率的な条件付き事後分布の計算を可能にする。
• 低遅延・高スループットなサンプリングを達成するために、CUDAまたは類似のGPUプログラミングフレームワークを実装に用いる。

実験結果

リサーチクエスチョン

• RQ1 大規模なベイズモデルに潜在変数を有する場合、GPU上でギブスサンプリングを効果的に並列化できるか？
• RQ2 提案されたデータ並列型ギブスサンプリングの性能は、予測子およびデータポイント数の増加に伴いどのようにスケーリングするか？
• RQ3 従来の逐次的ギブスサンプリング実装と比較して、どの程度の高速化が達成できるか？
• RQ4 GPUハードウェアにおけるデータ並列性を活用することで、ギブスサンプリングの本質的な逐次的性質はどの程度克服できるか？

主な発見

• GPUを活用したギブスサンプリング手法は、逐次実装に見られる同期ボトルネックを排除することで顕著な高速化を達成した。
• 本手法は、数百万のデータポイントおよび数千の予測子を有するデータセットに対しても、高い並列効率を維持したまま効果的にスケーリングされた。
• 実装は、大規模なベイズ推論に適した高スループットかつ低遅延のサンプリングを示した。
• 本手法は、潜在変数表現を有する交換可能性のあるモデルの広いクラスに適用可能であり、特定のモデルに限定されない汎用性を有する。