[論文レビュー] Massively parallel MCMC for Bayesian hierarchical models

Robert J. B. Goudie, Rebecca Turner+2 more|arXiv (Cornell University)|Apr 11, 2017

Statistical Methods and Bayesian Inference被引用数 2

ひとこと要約

この論文では、多様なコアシステム上で尤度評価と条件付き独立なパラメータ更新を自動的に分散することで、ベイジアン階層モデルの推論を高速化する並列MCMCフレームワークMultiBUGSを紹介する。48コアを用いて、425,112件の観察値と20,426個のランダム効果を有する大規模なeヘルスデータセットに対して、推論時間を数時間から28分に短縮し、7倍の高速化を達成した。

ABSTRACT

MultiBUGS (this https URL) is a new version of the general-purpose Bayesian modelling software BUGS that implements a generic algorithm for parallelising Markov chain Monte Carlo (MCMC) algorithms to speed up posterior inference of Bayesian models. The algorithm parallelises evaluation of the product-form likelihoods formed when a parameter has many children in the directed acyclic graph (DAG) representation; and parallelises sampling of conditionally-independent sets of parameters. A heuristic algorithm is used to decide which approach to use for each parameter and to apportion computation across computational cores. This enables MultiBUGS to automatically parallelise the broad range of statistical models that can be fitted using BUGS-language software, making the dramatic speed-ups of modern multi-core computing accessible to applied statisticians, without requiring any experience of parallel programming. We demonstrate the use of MultiBUGS on simulated data designed to mimic a hierarchical e-health linked-data study of methadone prescriptions including 425,112 observations and 20,426 random effects. Posterior inference for the e-health model takes several hours in existing software, but MultiBUGS can perform inference in only 28 minutes using 48 computational cores.

研究の動機と目的

• 応用統計学者が並列計算を活用してベイジアン階層モデルを扱えるようにすること。
• 多数のランダム効果を有する大規模ベイジアンモデルにおけるMCMC推論の性能ボトルネックを解消すること。
• BUGS言語およびDAGベースのモデル表現と互換性を持つ汎用的で自動的な並列化戦略を開発すること。
• 高次元のランダム効果を有する現実世界の複雑なeヘルスデータセットにおいて顕著な高速化を実証すること。

提案手法

• DAGにおいてパラメータが複数の子を持つ場合に、積型尤度の評価を並列化する。
• ギブスサンプリング中に、条件付き独立なパラメータ集合を同定し、それらを並列化する。
• 計算コストと構造に基づいて、各パラメータに対して尤度並列化とパラメータ集合並列化のうち、適切な方を選択するヒューリスティックアルゴリズムを採用する。
• 既存のBUGSソフトウェアと統合され、BUGS言語で記述されたモデルの自動並列化を可能にする。
• 負荷の不均衡を最小限に抑えるタスクベースの並列化戦略を用いて、複数コアに計算を分散する。

実験結果

リサーチクエスチョン

• RQ1 MCMCアルゴリズムの自動並列化は、大規模なベイジアン階層モデルの推論時間を顕著に短縮できるか？
• RQ2 尤度並列化とパラメータ集合並列化の間でのヒューリスティックベースの選択は、多様なモデル構造においてどの程度有効か？
• RQ3 MultiBUGSは、多数のランダム効果を有する現実世界の高次元eヘルスデータセットにおいてどの程度スケーリング可能か？
• RQ4 ユーザーがカスタム並列コードを書く必要なしに、性能向上を達成できるか？

主な発見

• MultiBUGSは、425,112件の観察値と20,426個のランダム効果を有する大規模なeヘルスモデルの事後分布推論時間を、48コアを用いて数時間からわずか28分に短縮した。
• 同じ複雑な階層モデルにおいて、従来の逐次的MCMCソフトウェアと比較して7倍の高速化を達成した。
• ユーザーの干渉や低レベルの並列コーディングなしに、多様なモデル構造において自動並列化が効果的に機能した。
• ヒューリスティックアルゴリズムは、負荷を適切にバランスさせ、異なるパラメータおよびモデル部品に対して最適な並列化戦略を選択するのに成功した。