[論文レビュー] Asymptotically Exact, Embarrassingly Parallel MCMC

Willie Neiswanger, Chong Wang+1 more|arXiv (Cornell University)|Nov 19, 2013

Markov Chains and Monte Carlo Methods参考文献 23被引用数 194

ひとこと要約

この論文は、複数のマシンにデータを分割して独立してMCMCサンプリングを行うが、サンプリング中はマシン間通信が不要な、極めて並列化可能なマルコフ連鎖モンテカルロ（MCMC）手法を提案する。この手法は、パラメトリック、ノンパラメトリック、またはセミパラメトリックな密度積推定を用いて部分事後分布のサンプルを組み合わせることで、全データ事後分布からの漸近的に正確なサンプルを生成する。これにより、大規模データ環境下でのバーンイン段階とサンプリングの高速化が顕著に達成される。

ABSTRACT

Communication costs, resulting from synchronization requirements during learning, can greatly slow down many parallel machine learning algorithms. In this paper, we present a parallel Markov chain Monte Carlo (MCMC) algorithm in which subsets of data are processed independently, with very little communication. First, we arbitrarily partition data onto multiple machines. Then, on each machine, any classical MCMC method (e.g., Gibbs sampling) may be used to draw samples from a posterior distribution given the data subset. Finally, the samples from each machine are combined to form samples from the full posterior. This embarrassingly parallel algorithm allows each machine to act independently on a subset of the data (without communication) until the final combination stage. We prove that our algorithm generates asymptotically exact samples and empirically demonstrate its ability to parallelize burn-in and sampling in several models.

研究の動機と目的

• 分散データ環境下における従来の並列MCMCの高コストな通信と計算を緩和すること。
• バーンイン段階とサンプリング段階の両方を、漸近的な正確性を損なわずに並列化すること。
• 部分事後分布のサンプルを全データ事後分布のサンプルに変換する後処理の組み合わせ手順を開発すること。
• 既存のMCMCソフトウェアやMapReduceのようなフレームワークと互換性を持つこと。
• さまざまな組み合わせ戦略下での漸近的正確性に関する理論的保証を証明すること。

提案手法

• 全データセットをM個の互いに素なサブセットに分割し、各サブセットで独立したMCMCサンプリングを実行して部分事後分布のサンプルを生成する。
• 部分事後分布の密度を、p_m(θ) ∝ p(θ) * p(x_{nm}|θ)^(1/M) と定義する。ここで x_{nm} はm番目のデータサブセットを表す。
• パラメトリック、ノンパラメトリック、またはセミパラメトリック推定を用いて、部分事後分布のサンプルを統合し、全事後分布密度積の推定値を得る。
• パラメトリックな組み合わせでは、部分事後分布のサンプルに多変量正規分布をフィットさせ、精度加重平均と分散共分散行列を用いて積を計算する。
• ノンパラメトリックな組み合わせでは、カーネル密度推定を用いて部分事後分布密度の積を近似する。
• セミパラメトリックな組み合わせでは、パラメトリックとノンパラメトリックな要素を組み合わせ、精度とスケーラビリティのバランスを取る。

実験結果

リサーチクエスチョン

• RQ1 最小限の通信でデータパーティションに跨るMCMCサンプリングを効果的に並列化可能であり、かつ漸近的正確性を維持できるか？
• RQ2 パラメトリック、ノンパラメトリック、セミパラメトリックといった異なる密度積推定戦略が、組み合わせられた事後分布サンプルの精度と収束に与える影響は何か？
• RQ3 提案手法は、大規模な設定下で単一チェーンMCMCと比較してバーンイン時間の短縮とサンプリングの高速化を達成できるか？
• RQ4 事後分布の次元数の増加や多峰性が、この手法のスケーラビリティに与える影響は何か？
• RQ5 この手法は、MapReduceスタイルの分散コンピューティングフレームワークで効率的に実装可能か？

主な発見

• パラメトリックな組み合わせ手法が次元数の増加に伴い最も速い収束と最良のスケーラビリティを示し、高次元の合成データにおいてノンパラメトリックおよびセミパラメトリック手法を上回った。
• ベイジアンロジスティック回帰の実験では、M=50の分割で単一チェーンMCMCと比較して最大10倍速く、分類精度も向上した。
• 多峰性を持つ事後分布（例：ガウス混合モデル）では、パラメトリックおよびsubpostAvg手法が多峰性を正しく捉えられずバイアスを生じたが、ノンパラメトリックおよびセミパラメトリック手法は真の事後分布を正しく回復した。
• 階層型ポアソン-ガンマモデルでは、提案手法がsubpostAvg、subpostPool、およびフルチェーン手法よりも、バーンイン段階を迅速に完了し、低い事後誤差に収束した。
• ノンパラメトリックおよびセミパラメトリックな組み合わせ手順により、漸近的に正確なサンプルが得られ、部分事後分布のサンプル数が増加するに従い誤差がゼロに収束した。
• 実世界の応用、特に森林被覆タイプの予測においても、実用的で、明確な高速化と精度の維持を示した。