[論文レビュー] Sequential Bayesian inference for mixture models and the coalescent using sequential Monte Carlo samplers with transformations

Richard G. Everitt, Richard Culliford+2 more|arXiv (Cornell University)|Dec 20, 2016

Bayesian Methods and Mixture Models被引用数 7

ひとこと要約

本稿では、次第に入力データが到着する際の混合モデルや共役木推定における次元が変化する後方分布の系列におけるベイズ推論を実行するために、変換を用いた逐次モンテカルロ（SMC）サンプラーを提案する。バイジェクティブな変換と適応的・マルチルートSMCを用いることで、複雑で高次元のモデルにおいても、計算的にも効率的で、柔軟かつスケーラブルな推論が可能になる。

ABSTRACT

This paper introduces methodology for performing Bayesian inference sequentially on a sequence of posteriors on spaces of different dimensions. We show how this may be achieved through the use of sequential Monte Carlo (SMC) samplers (Del Moral et al., 2006, 2007), making use of the full flexibility of this framework in order that the method is computationally efficient. In particular we introduce the innovation of using a sequence of distributions that are defined on spaces between which bijective transformations exist, using these transformations to move particles effectively between one target distribution and the next. This approach, combined with adaptive methods and the use of multiple routes between targets, yields an extremely flexible and general algorithm for tackling the aforementioned situation. We demonstrate this approach on the well-studied problem of model comparison for mixture models, and for the novel application of inferring coalescent trees sequentially, as data arrives.

研究の動機と目的

• 後方分布が異なる次元の空間上で定義される状況における、逐次ベイズ推論の一般枠組みの構築を目的とする。
• 次元が異なるターゲット間を効率的に粒子を移動させるという計算上の課題を解決することを目的とする。
• 有限混合モデルや共役木のような複雑なモデルにおいて、スケーラブルで適応的な推論を可能とすることを目的とする。
• データが逐次的に到着するオンライン推論を支援することを目的とし、リアルタイムでの後方分布の更新を実現する。

提案手法

• 本手法は、次元が増加するターゲット分布の系列を跨いで粒子を伝搬するために、逐次モンテカルロ（SMC）サンプラーを用いる。
• 異なる次元の空間上で定義されたターゲット分布間を、粒子を移動させるために双方向変換（バイジェクティブな変換）を用いる。これにより、粒子の効果的伝搬が保証される。
• 適応的リサンプリングと複数の遷移ルートを用いることで、粒子の多様性が向上し、劣化（degeneracy）が低減される。
• フレームワークは柔軟な提案メカニズムを統合し、SMCの全柔軟性を活用して、全ターゲットで高い有効サンプルサイズを維持する。
• 変換は、後方分布の構造を保持しつつ、モデル間での次元に整合した移動を可能にするように設計されている。
• 新規データの到着に伴い後方分布を逐次更新できるため、オンライン学習をサポートしており、計算効率を維持する。

実験結果

リサーチクエスチョン

• RQ1 次元が変化する複数の後方分布の系列に対して、どのように効率的なベイズ推論を実行できるか？
• RQ2 異なる次元の空間間のバイジェクティブな変換は、SMCサンプラーにおける粒子の効果的移動を可能にするか？
• RQ3 適応的SMC手法は、高次元と低次元のモデルの間を遷移する際、高い有効サンプルサイズをどのように維持できるか？
• RQ4 この手法は、有限混合モデルにおけるモデル比較をどの程度改善できるか？
• RQ5 このフレームワークは、遺伝的データが蓄積されるに従って、共役木の逐次推論に拡張可能か？

主な発見

• 提案された変換付きSMCサンプラーは、次元が異なる複数の後方分布の系列において、効率的かつ正確な推論を可能にする。
• バイジェクティブな変換の使用により、ターゲット間の粒子移動が著しく改善され、劣化が低減され、収束性が向上する。
• 適応的リサンプリングと複数の遷移ルートにより、高次元のモデル空間における粒子の多様性と耐障害性が向上する。
• 全ターゲットで高い有効サンプルサイズを達成しており、安定性とスケーラビリティが示された。
• 共役木推定における逐次推論を成功裏にサポートした。これは、従来SMCで取り扱われていなかった、画期的な応用分野である。
• 実験的結果から、混合モデルにおけるモデル比較において優れた性能を示し、モデル証拠および後方モデル確率の信頼性の高い推定が可能であることが明らかになった。