[論文レビュー] Particle Gibbs Split-Merge Sampling for Bayesian Inference in Mixture Models

Alexandre Bouchard‐Côté, Randal Douc+1 more|arXiv (Cornell University)|Aug 11, 2015

Bayesian Methods and Mixture Models被引用数 4

ひとこと要約

本稿では、共役混合モデルにおけるベイズ推論のための新しいマルコフ連鎖モンテカルロ法である、パーティクル・ギブス分割統合（PGSM）サンプラーを提案する。この手法は、パーティクル・ギブスフレームワークを活用することで、複雑なメトロポリス・ハスティングスの受容率を必要とせずに、効率的な分割統合移動を可能にする。合成データおよび地理的位置特定データを用いた実験により、固定計算予算下での収束性と混合性において、既存の分割統合サンプラーを上回ることを示した。

ABSTRACT

This paper presents a new Markov chain Monte Carlo method to sample from the posterior distribution of conjugate mixture models. This algorithm relies on a flexible split-merge procedure built using the particle Gibbs sampler. Contrary to available split-merge procedures, the resulting so-called Particle Gibbs Split-Merge sampler does not require the computation of a complex acceptance ratio, is simple to implement using existing sequential Monte Carlo libraries and can be parallelized. We investigate its performance experimentally on synthetic problems as well as on geolocation and cancer genomics data. In all these examples, the particle Gibbs split-merge sampler outperforms state-of-the-art split-merge methods by up to an order of magnitude for a fixed computational complexity.

研究の動機と目的

• 大規模データにおけるベイズ混合モデルの標準的ギブスサンプラーの非効率性（混合性の悪さと逐次的更新）を解消する。
• 従来の分割統合MCMC手法が複雑なメトロポリス・ハスティングスの受容率に依存するための計算複雑性を克服する。
• 既存の逐次的モンテカルロ（SMC）ライブラリと良好に統合できる、スケーラブルでモジュラーなMCMCサンプラーを、共役混合モデルに開発する。
• 分割統合フレームワーク内でのSMCベースの条件付きシミュレーションを活用することで、並列および分散推論を可能にする。
• 高次元クラスタリング問題における事後分布探索の改善を図る。これには、効率的かつ局所的極小値に強く、SMCと分割統合移動を組み合わせた手法を用いる。

提案手法

• パーティクル・ギブス（PG）サンプラーに由来する条件付き逐次的モンテカルロ（SMC）アルゴリズムに基づく分割統合移動を提案し、クラスタ構成の効率的再シミュレーションを可能にする。
• PGフレームワークを用いて、受容率の計算を避けるために、SMCの内在的なリサンプリングおよび伝搬メカニズムに依存して、クラスタの分割または統合のための提案を生成する。
• 2種類の汎用的でトポロジーに依存しないアンカー提案分布（クラスタ情報型（CI）およびしきい値情報型（TI））を設計。両者とも、尤度に基づく重みを用いてアンカー選択をガイドする。
• CI提案の実装では、統合済みクラスタと個別クラスタ間の尤度比を計算し、尤度が高い統合を優先する。
• TI提案の実装では、中国 restaurant process（CRP）からの予測確率を用いてブロック選択をガイドし、低確率クラスタをフィルタリングするためのしきい値を導入する。
• PGSMサンプラーを既存のSMCソフトウェアスタックに統合し、適応的リサンプリングや分散計算などの高度なSMC技術の再利用を可能にする。

実験結果

リサーチクエスチョン

• RQ1 共役混合モデルに対して、複雑なメトロポリス・ハスティングスの受容率を回避しつつ、高い混合効率を維持できる分割統合MCMCアルゴリズムを設計できるか？
• RQ2 収束速度と事後分布探索における混合性という観点から、SMCベースの条件付きシミュレーションは、従来のギブス法やメトロポリス・ハスティングス移動と比べてどのように優れているか？
• RQ3 観測空間の幾何構造に関する事前の知識がなくても、汎用的でトポロジーに依存しないアンカー提案分布が、分割統合移動を効果的にガイドできるか？
• RQ4 固定計算予算下で、PGSMサンプラーは既存の分割統合手法よりも優れた事後サンプリング効率を達成できるか？
• RQ5 既存のSMCライブラリおよび並列／分散推論技術を用いて、PGSMサンプラーはどの程度スケーラブルに拡張できるか？

主な発見

• 合成実験により、固定計算予算下でPGSMサンプラーは、既存の分割統合サンプラーと比較して、より速い収束性と優れた混合性を示した。
• アンカー提案の選択にかかわらず、PGSMサンプラーの性能は安定しており、クラスタ情報型（CI）およびしきい値情報型（TI）の両提案が強く優れた結果をもたらした。
• 特にクラスタが大きく重複している場合に顕著に、PGSMサンプラーは標準的ギブスサンプラーを上回った。
• 受容率が存在しないため、従来の分割統合MCMC手法と比較して実装が簡素化され、チューニングの複雑さも低減された。
• SMCライブラリの恩恵を受けることで、並列処理と適応的処理が効率的に行えるようになり、大規模データセットにおけるスケーラビリティが向上した。
• 地理的位置特定データに対する実証的結果により、複雑でi.i.d.でない構造を有する実世界のクラスタリング応用において、本手法の実用的有用性が示された。