[論文レビュー] Parallelizing MCMC with Random Partition Trees

Xiangyu Wang, Fangjian Guo+2 more|arXiv (Cornell University)|Jun 10, 2015

Bayesian Methods and Mixture Models参考文献 22被引用数 32

ひとこと要約

この論文は、ランダムパーティションツリーを用いてサブセット事後分布を統合することで、大規模データセットにおける効率的でスケーラブルかつ正確なベイズ推論を可能にする、新たな並列性の高いMCMCアルゴリズムPARTを提案する。マルチスケールヒストограмをランダムパーティショニングによって構築することで、カーネルベースの手法が抱える混合成分の指数的増加とバンド幅感度の問題を回避し、理論的保証付きの一貫性のある事後分布近似を達成し、優れた経験的性能を示す。

ABSTRACT

The modern scale of data has brought new challenges to Bayesian inference. In particular, conventional MCMC algorithms are computationally very expensive for large data sets. A promising approach to solve this problem is embarrassingly parallel MCMC (EP-MCMC), which first partitions the data into multiple subsets and runs independent sampling algorithms on each subset. The subset posterior draws are then aggregated via some combining rules to obtain the final approximation. Existing EP-MCMC algorithms are limited by approximation accuracy and difficulty in resampling. In this article, we propose a new EP-MCMC algorithm PART that solves these problems. The new algorithm applies random partition trees to combine the subset posterior draws, which is distribution-free, easy to resample from and can adapt to multiple scales. We provide theoretical justification and extensive experiments illustrating empirical performance.

研究の動機と目的

• 大規模データセットにおける従来のMCMCの計算ボトル neck を解消し、データサブセット間での並列サンプリングを可能にする。
• 既存のEP-MCMC手法の限界、特にカーネル密度推定におけるバンド幅選択への感受性と低効率なリサンプリングを克服する。
• 複数スケールに適応し、混合成分の指数的増加を回避する分布フリーでスケーラブルな結合ルールを開発する。
• 事後分布の集約が、事後サンプル数の増加に伴い理論的に一貫性を保つことを保証する。
• 通信フリーな並列MCMC実行を維持しながら、正確性を保つ実用的で効率的なアルゴリズムを提供する。

提案手法

• パラメータ空間を互いに素な長方形ブロックに分割するKブロックヒストグラムを、ランダムパーティションツリーを用いて構築する。
• 各サブセット事後分布に対して、各ブロック内の事後サンプル数に比例する重みをもつ、Kブロック上の正規化されたヒストグラムとして密度を推定する。
• 全事後分布がサブセット事後分布の積に比例するという積密度方程式（PDE）を用いて、サブセット事後分布を結合する。
• 指数的成分増加を回避しつつ正確性を保つために、ツリー構造に基づくマージ戦略を用いた反復的ペアワイズ統合を実施する。
• 局所的な密度構造と複数スケールに適応するため、ランダムなパーティショニングスキームを用いる。
• ツリー構造ヒストグラムから導かれる提案分布を用いたメトロポリス・ハスティングスアルゴリズムにより、集約密度からリサンプリングを行う。

実験結果

リサーチクエスチョン

• RQ1 カーネルベースの手法が抱える混合成分の指数的増加を回避できる、分布フリーでスケーラブルなEP-MCMCの結合ルールを設計できるか？
• RQ2 非正規分布、歪度のある分布、またはマルチモーダルな事後分布に対しても、集約プロセスがどれほど頑健であるか？
• RQ3 ランダムパーティションツリーは、カーネル密度推定器と比較して、リサンプリング効率をどの程度向上させ、混合時間を短縮できるか？
• RQ4 事後サンプル数の増加に伴い、提案手法が事後分布近似において理論的に一貫性を示すか？
• RQ5 多様なデータスケールや複雑な事後分布構造に対しても、精度と効率を維持できるか？

主な発見

• PARTは、事後サンプル数の増加に伴い、真の事後分布と推定事後分布との全変動距離がO((4C₀D)^{log₂m+1}ε)で有界であるという理論的一貫性を達成する。
• 混合成分の指数的増加を回避するため、ブロック数に線形に増加するツリー構造ヒストグラム表現を用いることで、カーネルベース手法の問題を解消する。
• 経験的結果では、PART-KD/MLが二峰性およびレアイベント・ベルヌーイ例において他の手法を上回り、局所的スムージングによる偽のリップルを避けて事後質量を正しく捉えている。
• 実データセット（covertypeおよびMiniBooNE）におけるベイズロジスティック回帰では、十分な事後サンプル数を用いることで、フル尤度MCMCと同等の予測精度を達成する。
• 異種のサブセット事後分布に対しても頑健であり、複数スケールにわたる精度を維持し、スケール検出においてノンパラメトリックおよびセミパラメトリック代替手法を上回る。
• 集約されたPART密度からのリサンプリングは、カーネルベース混合分布よりも著しく効率的であり、再帰率が低く、構造的かつ低次元のヒストグラム表現のおかげで混合時間が短い。