[論文レビュー] Parallelizing MCMC via Weierstrass Sampler

Xiangyu Wang, David B. Dunson|arXiv (Cornell University)|Dec 17, 2013

Bayesian Methods and Mixture Models参考文献 10被引用数 102

ひとこと要約

この論文は、部分集合MCMC連鎖からの事後分布サンプルをカーネルベースの積近似を用いて組み合わせることで、通信不要な並列MCMC手法「ワイエルシュトラスサンプラー」を提案する。近似誤差に関する理論的バウンドを提供し、特に高次元設定において平均化法やカーネルスムージング法よりも優れた性能を示す。

ABSTRACT

With the rapidly growing scales of statistical problems, subset based communication-free parallel MCMC methods are a promising future for large scale Bayesian analysis. In this article, we propose a new Weierstrass sampler for parallel MCMC based on independent subsets. The new sampler approximates the full data posterior samples via combining the posterior draws from independent subset MCMC chains, and thus enjoys a higher computational efficiency. We show that the approximation error for the Weierstrass sampler is bounded by some tuning parameters and provide suggestions for choice of the values. Simulation study shows the Weierstrass sampler is very competitive compared to other methods for combining MCMC chains generated for subsets, including averaging and kernel smoothing.

研究の動機と目的

• 大規模データへのMCMCのスケーリングに挑むため、データサブセット間で通信を伴わない並列化を可能にする。
• 次元数の増加や非ガウス型事後分布において性能が劣化する既存の結合手法（平均化やカーネルスムージング）の限界を克服する。
• 特定の事前分布要因分解のもとで、全データ事後分布を部分事後分布の積として表現する理論的根拠に基づく手法を開発し、部分事後分布サンプルをカーネル平滑化密度の積により近似する。
• 近似誤差を制御するためのカーネルバンド幅およびその他のパラメータのチューニングガイドラインを提供する。
• 高次元および複雑な事後分布設定においても、計算効率を維持しながら精度を保つ。

提案手法

• 特定の事前分布要因分解の下で、全データ事後分布を部分事後分布の積として表現する独立積式を活用する。
• 各部分事後分布密度を非パラメトリックに近似するために、ワイエルシュトラス変換（カーネルスムージング）を適用する。
• 平滑化された部分事後分布を乗算的に組み合わせ、全データ事後分布密度の近似を構築する。
• 補助変数を用いたギブスサンプラーを用いて、平滑化された事後分布の積からのサンプリングを効率的に実行する。
• 遷移核に下界条件を課すことにより、サンプラーの幾何的正則性と収束性を保証する。
• カーネル近似の滑らかさを制御するチューニングパラメータ（バンド幅）を導入し、その結果として生じる近似誤差に関する理論的バウンドを提供する。

実験結果

リサーチクエスチョン

• RQ1 高次元設定において部分事後サンプルを組み合わせる際にも精度を維持できる、通信不要な並列MCMC手法を設計可能か？
• RQ2 ワイエルシュトラスサンプラーの近似誤差は、カーネルバンド幅およびデータサブセットサイズに関してどのようにスケーリングされるか？
• RQ3 ワイエルシュトラスサンプラーは、平均化法やカーネルスムージング法よりも、多様な事後分布形状において精度と頑健性に優れているか？
• RQ4 平滑化された事後分布の積に対する提案されたギブスサンプラーの幾何的正則性と収束性を保証する理論的条件は何か？
• RQ5 バンド幅などのチューニングパラメータは、どのように選択すれば近似誤差を最小化しつつ計算効率を維持できるか？

主な発見

• ワイエルシュトラスサンプラーは、カーネルバンド幅が小さくなるほどおよびサブセットサイズが大きくなるほど、近似誤差が減少する有界な誤差を達成する。濃縮不等式を用いた理論的保証が与えられる。
• シミュレーションスタディにおいて、平均化法やカーネルスムージング法を上回る性能を示す。特に、次元の呪いのためカーネルスムージングが失敗する高次元モデルにおいて顕著である。
• 理論的解析により、ワイエルシュトラスサンプラーで用いられるギブスサンプラーは、弱い条件下でも幾何的正則性を満たすことが示され、高速な混合と収束が保証される。
• 近似誤差は、真の密度と近似密度のL1距離に比例する項によって有界であり、カーネルバンド幅および部分事後分布の重複度に明示的な依存関係を示す。
• サンプリング中にMCMC連鎖間の通信を回避することで、真の無人並列実行が可能となり、高い計算効率を維持する。
• 実験的結果から、部分事後分布が非ガウス型または重たい尾を持つ場合でも、ワイエルシュトラスサンプラーは正確な事後推定を提供する。従来の手法では失敗する状況でも有効である。