[論文レビュー] Sequential Monte Carlo for Graphical Models

Christian A. Naesseth, Fredrik Lindsten+1 more|arXiv (Cornell University)|Feb 3, 2014

Bayesian Methods and Mixture Models参考文献 34被引用数 23

ひとこと要約

本稿は、要因グラフの逐次的分解を活用して、逐次的補助分布の系列を定義することにより、確率的グラフィカルモデル（PGM）のための新しい逐次モンテカルロ（SMC）フレームワークを提案する。この手法により、分割関数の不偏推定が可能となり、パーティクル・マルコフ連鎖モンテカルロ（PMCMC）を用いた効率的かつ高次元のブロックサンプリングMCMC推論が実現され、近似SMCおよびメッセージパッシング手法に比べて一貫性と一般性において優れている。

ABSTRACT

We propose a new framework for how to use sequential Monte Carlo (SMC) algorithms for inference in probabilistic graphical models (PGM). Via a sequential decomposition of the PGM we find a sequence of auxiliary distributions defined on a monotonically increasing sequence of probability spaces. By targeting these auxiliary distributions using SMC we are able to approximate the full joint distribution defined by the PGM. One of the key merits of the SMC sampler is that it provides an unbiased estimate of the partition function of the model. We also show how it can be used within a particle Markov chain Monte Carlo framework in order to construct high-dimensional block-sampling algorithms for general PGMs.

研究の動機と目的

• メッセージパッシング手法に内在する近似誤差を回避する一般化された確率的グラフィカルモデル（PGM）のための一貫性のあるSMCベースの推論手法の開発を目的とする。
• SMCを用いて、ベイズ的モデル比較における主要な量であるモデルの分割関数の不偏推定を可能にする。
• パーティクルMCMCを用いて、潜在変数およびモデルパラメータのための高次元かつブロックワイドなMCMCカーネルを構築する。
• 従来のSMC手法が直面する限界、例えばSMC反復内でのMCMCステップ依存性やガウス型／離散型モデルに限定される制限を克服する。
• 平均場近似やループのある信念伝播を必要とせず、非ガウス型および非離散型PGMに一般化可能な柔軟で汎用的な推論フレームワークを提供する。

提案手法

• 本手法は、PGMの要因グラフの逐次的分解を実行し、次第に次元が増加する確率空間とそれに対応する補助ターゲット分布の系列を定義する。
• SMCサンプラーをこれらの補助ターゲット分布に適応させ、モデル構造によって定義される条件付き分布の系列を通じて、パーティクルと重みを伝搬する。
• 結果のマルコフ連鎖における詳細釣合の維持を保証するため、パーティクルの歴史を保持するための祖先リサンプリングを適用する。これはパーティクルMCMC応用において極めて重要である。
• 祖先サンプリングは、パーティクル重みと、全ターゲット密度と現在のターゲット密度の比の積に比例する重み付き選択ルールを用いて実装され、条件付き依存関係を活用する。
• このフレームワークは自然に、SMCアルゴリズムの最終的な正規化重み合計から得られる分割関数 $ Z $ の不偏推定を生み出す。
• SMCサンプラーをパーティクルMCMCスキーム内に埋め込み、潜在変数と未知のモデルパラメータの同時推論を可能にする。SMCの出力を高次元の提案カーネルとして用いる。

実験結果

リサーチクエスチョン

• RQ1 PGMの要因グラフの逐次的分解は、完全な結合分布近似のための一貫性のあるSMCアルゴリズムの構築を可能にするか？
• RQ2 提案されたSMCフレームワークは分割関数の不偏推定を提供するか？ また、アニールド重要度サンプリング（AIS）と比べてどのように異なるか？
• RQ3 SMCサンプラーは、潜在変数およびパラメータ推論のためのパーティクルMCMCフレームワーク内での高次元かつブロックワイドなMCMCカーネルとして利用可能か？
• RQ4 祖先サンプリングの計算コストは、現在の状態変数に依存する要因の数に応じてどのようにスケーリングされるか？ 特に、将来の変数に依存する要因の数に注目する。
• RQ5 この手法は、平均場近似や中間のMCMCステップに依存する従来のSMCベースのPGM推論技術をどのように一般化するか？

主な発見

• SMCアルゴリズムは、分割関数 $ Z $ の不偏推定を提供する。これは、近似メッセージパッシングや平均場SMC手法に比べて顕著な利点である。
• 本手法は、ループのある信念伝播のパーティクル近似に依存する従来のSMCベースの手法とは異なり、推論の一貫性を達成する。
• 祖先サンプリングステップにより、結果のマルコフ連鎖における詳細釣合が保証され、パーティクルMCMCフレームワーク内での有効な推論が可能になる。
• 祖先サンプリングの計算コストは、現在の状態と将来の変数の両方に依存する要因の数に依存するが、通常は全変数数よりもはるかに小さい。
• 平均場近似やSMC反復内の中間MCMCステップを必要とせず、非ガウス型および非離散型の潜在変数を持つ一般PGMに適用可能である。
• 本手法は、パーティクル学習の一般化と見なされ、従来の手法よりも広いクラスのモデルにSMCの適用範囲を拡張する。