[論文レビュー] A hybrid sampler for Poisson-Kingman mixture models

María Lomelí, Stefano Favaro+1 more|arXiv (Cornell University)|Sep 24, 2015

Bayesian Methods and Mixture Models参考文献 26被引用数 4

ひとこと要約

本稿では、ポアソン＝キングマン混合モデルにおける新しいハイブリッドマルコフ連鎖モンテカルロ（MCMC）サンプラーを提案する。この手法は、条件付きサンプリングと周辺化の長所を組み合わせることで、効率的な事後分布推論を可能にする。無限次元の成分をコンパクトに表現することで、複数のベンチマークモデルにおいて、従来の手法よりも高速な実行時間と高い有効サンプルサイズ（ESS）を達成した。

ABSTRACT

This paper concerns the introduction of a new Markov Chain Monte Carlo scheme for posterior sampling in Bayesian nonparametric mixture models with priors that belong to the general Poisson-Kingman class. We present a novel compact way of representing the infinite dimensional component of the model such that while explicitly representing this infinite component it has less memory and storage requirements than previous MCMC schemes. We describe comparative simulation results demonstrating the efficacy of the proposed MCMC algorithm against existing marginal and conditional MCMC samplers.

研究の動機と目的

• 無限次元の成分を有するベイジアン非パラメトリック混合モデルにおける事後分布推論の計算的課題に対処すること。
• 正規化された安定分布および一般化されたガンマ過程を含む、ポアソン＝キングマン過程の広範なクラスに適用可能な汎用的MCMCアルゴリズムの開発。
• 条件付きサンプラーと周辺化サンプラーの利点（効率的な記憶領域と良好な混合性）を統合した、単一の統一フレームワークへの統合。
• 無限確率測度のスケーラブルでコンパクトな表現を提供することで、確率的プログラミングにおける自動推論を可能にすること。
• 重尾的または非共役の尤度を持つモデルにおける計算効率とサンプリング品質の向上。

提案手法

• 無限次元成分の有限切断（条件付きサンプリング）と無限次元の統合（周辺化）を統合したハイブリッドMCMCスキームを提案し、計算コストと混合性のバランスをとる。
• レヴィ測度のサイズバイアス順序統計量を用いて、無限次元確率測度のコンパクトな表現を導入し、メモリおよびストレージ要件を削減する。
• Gibbsサンプラー内でのメトロポリス・ハスティングスステップを用いて、切断レベルと重みを更新することで、混合性を向上させつつも取り扱いやすさを維持する。
• データが誘発するパーティションの交換可能性を活用して、クラスタ割り当ておよび重みの効率的な条件付き分布を導出する。
• ポアソン＝キングマンフレームワーク下でのスティックバーキング過程の効率的シミュレーションを可能にするために、原子とその質量のサイズバイアス表現を適用する。
• 無限次元成分をサイズバイアス重みを通じて暗黙的に表現するハイブリッドスキームを採用し、すべての成分を明示的に格納することなく、完全な事後分布推論能力を保持する。

実験結果

リサーチクエスチョン

• RQ1 ポアソン＝キングマン混合モデルにおいて、ハイブリッドMCMCサンプラーは、周辺化および条件付きサンプラーの両方を上回る実行時間と有効サンプルサイズ（ESS）を達成できるか？
• RQ2 ポアソン＝キングマン過程の無限次元成分を、メモリ使用量を削減するコンパクトな方法で表現可能か？ その際、サンプリング効率を損なわないか？
• RQ3 安定分布および一般化されたガンマ過程などの異なるレヴィ測度に対して、ハイブリッドサンプラーの性能はどのように変化するか？
• RQ4 既存のサンプラーが困難をきたす非共役および重尾的モデルに対しても、ハイブリッドアプローチを一般化可能か？
• RQ5 ハイブリッドフレームワークにおけるメトロポリス・ハスティングス提案分布の選択が、混合性および受容率に与える影響は何か？

主な発見

• ハイブリッドサンプラーは、正規化された一般化されたガンマ過程および安定過程を含む、すべてのテストモデルにおいて、周辺化および条件付きサンプラーを上回る高速な実行時間と高いESSを達成した。
• σ = 0.5の場合、ハイブリッドサンプラーは4157.8秒（ESS = 5104.7）で実行されたが、周辺化サンプラーは7685.8秒（ESS = 3587.7）であった。
• σ = 0.3の場合、ハイブリッドサンプラー（Hybrid-MH, λ=50）は4686.4秒（ESS = 4343.6）を達成し、周辺化サンプラー（7685.8秒、ESS=3587.7）および条件付きサンプラー（ESSがNA）を上回った。
• 非共役設定において唯一実行可能な選択肢であったのはハイブリッドサンプラーで、-logBeta(1,2)モデルでは2520.6秒（ESS = 3068.2）を達成し、その頑健性を示した。
• Hybrid-MHバージョンは競争力のある性能を示したが、受容率が最適でなかったため、提案分布の設計に改善の余地があることが示唆された。
• 提案されたコンパクト表現は、メモリおよびストレージ要件を削減しながらも、完全な事後分布推論を可能にし、従来の条件付きおよび周辺化手法の限界を克服した。