[論文レビュー] Average of Recentered Parallel MCMC for Big Data

Changye Wu, Christian P. Robert|arXiv (Cornell University)|Jun 15, 2017

Markov Chains and Monte Carlo Methods参考文献 15被引用数 5

ひとこと要約

本稿では、分割されたデータから得られる再中心化・再スケーリングされた部分事後分布のMCMCサンプルを組み合わせることで、大規模データに対するスケーラブルなベイズ推論手法を提案する。各部分事後分布の尤度をデータ分割数でスケーリングし、それらを平均を中心に再中心化することで、最小限の計算コストで高精度な事後分布近似が達成され、従来の並列MCMC手法よりも統計的妥当性と効率性に優れる。

ABSTRACT

In big data context, traditional MCMC methods, such as Metropolis-Hastings algorithms and hybrid Monte Carlo, scale poorly because of their need to evaluate the likelihood over the whole data set at each iteration. In order to resurrect MCMC methods, numerous approaches belonging to two categories: divide-and-conquer and subsampling, are proposed. In this article, we study the parallel MCMC and propose a new combination method in the divide-and-conquer framework. Compared with some parallel MCMC methods, such as consensus Monte Carlo, Weierstrass Sampler, instead of sampling from subposteriors, our method runs MCMC on rescaled subposteriors, but share the same computation cost in the parallel stage. We also give the mathematical justification of our method and show its performance in several models. Besides, even though our new methods is proposed in parametric framework, it can been applied to non-parametric cases without difficulty.

研究の動機と目的

• 全データ尤度の各反復における評価が計算的に非現実的である大規模データ環境において、従来のMCMC手法のスケーラビリティ制限を克服すること。
• 部分事後分布の組み合わせに起因するバイアスを低減し、統計的一致性を保証することで、既存の分割統合MCMC手法を改善すること。
• 標準的な並列MCMCと同等の計算コストを維持しつつ、再スケーリングされた部分事後分布の再中心化と平均化によって、より高い精度を達成する手法を開発すること。
• パラメトリックおよびノンパラメトリックなベイズモデルの両方に適用可能な数学的裏付けに基づくフレームワークを提供すること。

提案手法

• データセットを等しいサイズのK個のサブセットに分割し、各サブセットの対数尤度をK倍することで部分事後分布を構築する。これにより、部分事後分布の分散が全事後分布と同等のスケールになる。
• 各再スケーリングされた部分事後分布に対して独立にMCMCを実行し、各サブセットの事後分布平均θ*ᵢを生成する。
• 各部分事後分布平均を平均化して、グローバルな中心点ȳ* = (1/K)∑θ*ᵢを計算する。
• 各MCMCサンプルセットに対して、自身の事後分布平均を引いてグローバル平均を加えることで、全体の事後分布期待値を中心に再中心化する。
• 全K個のサブセットに対して再中心化されたサンプルを平均化することで、全事後分布の最終近似を得る。
• 組み合わせ段階では追加のMCMC走行を必要とせず、単純な再中心化と平均化に依存するため、計算が非常に効率的である。

実験結果

リサーチクエスチョン

• RQ1 再重み付けと再中心化により、部分事後分布を統合する分割統合MCMCアプローチが、コンSENSUS MCMCを上回る統計的精度を達成できるか？
• RQ2 部分事後分布を分割数Kでスケーリングすることで、全事後分布のスケールに一致する部分事後分布の分散が得られ、近似品質が向上するか？
• RQ3 単純な平均化によって再中心化された部分事後分布を組み合わせることで、追加のMCMCサンプリングなしに妥当かつ高精度な真の事後分布近似が得られるか？
• RQ4 理論的裏付けがパラメトリックなフレームワークに基づいているが、ノンパラメトリックなベイズモデルにおいても本手法は有効に機能するか？

主な発見

• 提案手法は、特に高次元かつ複雑なモデルにおいて、コンセンサスMCMCや他の並列MCMC手法と比較して、事後分布近似精度が顕著に向上している。
• 再スケーリングされた部分事後分布の再中心化と平均化により、シミュレーションスタディの密度プロットからも示されるように、全データMCMC事後分布に非常に近い近似が得られている。
• 並列段階における計算コストは標準的な並列MCMCと同一であり、組み合わせ段階でのオーバーヘッドは無視できるほど小さく、大規模データ処理において極めて効率的である。
• ベルンシュタイン＝フォン・ミーゼスの定理による理論的裏付けにより、尤度と事前分布にややきつい正則性条件が課されれば、本手法は漸近的に妥当であることが示された。
• N=10⁶、K=50の混合モデルシミュレーションにおいて、各MCMCチェインが処理するデータ量の一部しか使用していないにもかかわらず、提案手法は全MCMCと視覚的・統計的に区別できない事後分布推定を達成した。