[論文レビュー] Parallel MCMC via Weierstrass Sampler.

Xiangyu Wang, David B. Dunson|arXiv (Cornell University)|Dec 17, 2013

Bayesian Methods and Mixture Models被引用数 30

ひとこと要約

この論文では、通信不要な並列MCMC手法として、Weierstrassサンプラーを提案する。この手法は、独立した部分集合MCMCチェインからの事後分布サンプルを組み合わせることで、フルデータ事後分布を効率的に近似する。近似誤差は調整可能なパラメータによって制御され、シミュレーションスタディにおいて平均化やカーネルスムージングよりも優れた性能を示す。

ABSTRACT

With the rapidly growing scales of statistical problems, subset based communication-free parallel MCMC methods are a promising future for large scale Bayesian analysis. In this article, we propose a new Weierstrass sampler for parallel MCMC based on independent subsets. The new sampler approximates the full data posterior samples via combining the posterior draws from independent subset MCMC chains, and thus enjoys a higher computational efficiency. We show that the approximation error for the Weierstrass sampler is bounded by some tuning parameters and provide suggestions for choice of the values. Simulation study shows the Weierstrass sampler is very competitive compared to other methods for combining MCMC chains generated for subsets, including averaging and kernel smoothing.

研究の動機と目的

• 大規模データセットへのベイズMCMCのスケーリングに挑むために、通信不要な並列計算を可能にする効率的な手法を提供すること。
• チェイン間の通信を要せず、独立した部分集合チェインからの事後分布サンプルを組み合わせる手法を開発すること。
• 調整可能なパラメータを用いて、組み合わせた事後分布推定の近似誤差を有界に制御すること。
• 従来の集約手法と比較して、大規模ベイズ推論における計算効率と精度を向上させること。
• 誤差とパフォーマンスを制御する調整パラメータの選定に関する実用的ガイドラインを提供すること。

提案手法

• Weierstrassサンプラーは、互いに disjoint なデータサブセットにフィットされた独立したMCMCチェインからの事後分布サンプルの重み付き組み合わせを構築する。
• この手法は、Weierstrass変換を用いて事後分布の推定値を滑らかにし、組み合わせることで、フルデータ事後密度を近似する。
• バイアスと分散のトレードオフを制御する調整パラメータに依存するカーネルベースの重み付け方式を採用する。
• 近似誤差は、調整パラメータと事後分布の幾何構造の観点から解析的に有界に示される。
• チェイン間の通信を一切行わないため、分散システム上での高いスケーラビリティを実現する。
• 並列かつ独立した部分集合チェインからの結果を集約することで、効率的な事後分布推論を可能にする。

実験結果

リサーチクエスチョン

• RQ1 独立した部分集合MCMCチェインからの事後分布サンプルをどのように組み合わせれば、誤差が有界な形でフルデータ事後分布を近似できるか？
• RQ2 組み合わせた事後分布推定における近似誤差を制御する調整パラメータは何か？
• RQ3 Weierstrassサンプラーは、MCMCチェインの組み合わせに際して、平均化やカーネルスムージング手法と比較して、精度と効率性においてどのように差をつけるか？
• RQ4 この手法は、大規模ベイズ推論において、高い計算効率を維持しながら統計的整合性を保つことができるか？
• RQ5 精度と計算コストのバランスを取るために、調整パラメータをどのように選択すべきか、実用的なガイドラインは何か？

主な発見

• Weierstrassサンプラーは、調整パラメータの選択に依存する有界な近似誤差を達成し、統計的信頼性を保証する。
• シミュレーションスタディにおいて、平均化やカーネルスムージングと比較して、特に精度と収束性の面で競争力のある性能を示す。
• 通信不要な並列処理を実現するため、大規模データセットにおける計算効率が顕著に向上する。
• 誤差に関する理論的境界が導出され、適切なパrameter選択のもとで実際の応用でも有効であることが示された。
• シミュレーション結果から、部分集合データからの事後分布推定において、Weierstrassサンプラーが既存手法を上回るか、同等の性能を発揮することが確認された。
• 実用的な調整パラメータの選定に関する提案が提示され、実世界の応用における使いやすさが向上した。