[論文レビュー] Sequential Monte Carlo methods for graphical models

Christian A. Naesseth, Fredrik Lindsten+1 more|arXiv (Cornell University)|Feb 3, 2014

Bayesian Methods and Mixture Models参考文献 29被引用数 4

ひとこと要約

本稿では、一般の確率的グラフィカルモデル（PGM）における近似推論のための逐次モンテカルロ（SMC）アルゴリズムを提案する。モデルを確率空間を段階的に拡大する補助分布へと逐次的に分解することで、正規化定数（パーティション関数）の不偏推定を可能にし、粒子マルコフ連鎖モンテカルロ推論を実現する。本手法は離散変数と連続変数の両方を扱い、任意のグラフ構造に対応可能である。

ABSTRACT

Inference in probabilistic graphical models (PGMs) does typically not allow for analytical solutions, confining us to various approximative methods. We propose a sequential Monte Carlo (SMC) algorithm for inference in general PGMs. Via a sequential decomposition of the PGM we find a sequence of auxiliary distributions defined on a monotonically increasing sequence of probability spaces. By targeting these auxiliary distributions using purpose built SMC samplers we are able to approximate the full joint distribution defined by the graphical model. Our SMC sampler also provides an unbiased estimate of the partition function (normalization constant) and we show how it can be used within a particle Markov chain Monte Carlo framework. This allows for better approximations of the marginals and for unknown parameters to be estimated. The proposed inference algorithms can deal with an arbitrary graph structure and the domain of the random variables in the graph can be discrete or continuous.

研究の動機と目的

• 解析的解が得られない一般の確率的グラフィカルモデルのための汎用的推論手法の開発。
• モデル比較や学習に不可欠なパーティション関数の不偏推定を可能にすること。
• 任意のグラフ構造と混合離散・連続変数を含むモデルにおける推論を可能にすること。
• 後退確率と周辺分布の精度向上および未知パラメータ推定を促進するため、粒子マルコフ連鎖モンテカルロと統合すること。

提案手法

• PGMを確率空間を単調に拡大する補助分布の系列へと逐次的分解する。
• 目的の補助分布を的確に標本抽出するための特化型SMCサンプラーを用い、段階的に全結合分布に近づける。
• 粒子の重みを維持することで、正規化定数（パーティション関数）の不偏推定を可能にする。
• パーティション関数の推定値を粒子マルコフ連鎖モンテカルロフレームワークに統合し、事後分布と周辺分布の近似精度を向上させる。
• 離散および連続確率変数の両方を扱い、任意のPGM構造に適用可能である。

実験結果

リサーチクエスチョン

• RQ1 任意の構造を有する一般の確率的グラフィカルモデルに、効果的にSMC手法を適応できるか？
• RQ2 SMCフレームワーク内で、PGMのパーティション関数の不偏推定を効率的に計算できるか？
• RQ3 SMC推論をどのようにして粒子MCMCと統合することで、周辺分布およびパラメータ推定の精度を向上できるか？
• RQ4 提案手法が、PGMにおける混合離散・連続変数ドメインをどの程度効果的に処理できるか？

主な発見

• 提案されたSMCアルゴリズムはパーティション関数の不偏推定を提供し、厳密なモデル比較と学習を可能にする。
• 本手法は、複雑で多様な依存関係を含む任意のグラフ構造を持つPGMにおける推論を可能にする。
• 粒子MCMCとの統合により、事後周辺分布の精度が向上し、未知のモデルパラメータの推定が促進される。
• 離散および連続確率変数の両方に対して適用可能であり、広範なモデル互換性を確保する。