[論文レビュー] Expectation Propagation for approximate Bayesian inference

Thomas P. Minka|arXiv (Cornell University)|Jan 10, 2013

Bayesian Modeling and Causal Inference参考文献 15被引用数 1,457

ひとこと要約

この論文は、繰り返しの近似信念の改善を通じて十分統計量（例：平均と分散）を用いることで、ラプラス法、変分ベイズ、モンテカルロ法と同等の計算コストで、はるかに高い精度を達成する、ベイジアンネットワークにおける決定的近似推論手法である期待値伝搬（EP）を導入する。EPは、ループ付きベイズ推論や仮定密度フィルタリングの技術を統合・拡張する。特に、ハイブリッドおよび相関のあるモデルにおいて顕著な性能向上を示す。

ABSTRACT

This paper presents a new deterministic approximation technique in Bayesian networks. This method, "Expectation Propagation", unifies two previous techniques: assumed-density filtering, an extension of the Kalman filter, and loopy belief propagation, an extension of belief propagation in Bayesian networks. All three algorithms try to recover an approximate distribution which is close in KL divergence to the true distribution. Loopy belief propagation, because it propagates exact belief states, is useful for a limited class of belief networks, such as those which are purely discrete. Expectation Propagation approximates the belief states by only retaining certain expectations, such as mean and variance, and iterates until these expectations are consistent throughout the network. This makes it applicable to hybrid networks with discrete and continuous nodes. Expectation Propagation also extends belief propagation in the opposite direction - it can propagate richer belief states that incorporate correlations between nodes. Experiments with Gaussian mixture models show Expectation Propagation to be convincingly better than methods with similar computational cost: Laplace's method, variational Bayes, and Monte Carlo. Expectation Propagation also provides an efficient algorithm for training Bayes point machine classifiers.

研究の動機と目的

• グラフィカルモデルにおけるベイジアン推論のための統一的かつ決定的な近似手法の開発。
• 離散的およびハイブリッドネットワークにおける連続変数と相関のある変数を扱えるように、ベイズ推論を拡張すること。
• ラプラス法や変分ベイズなどの低コスト手法よりも高い精度を達成すること。
• ベイズポイントマシン分類器の学習に効率的なアルゴリズムを提供すること。
• 正確な推論が不可能なモデルにおける近似推論を可能にすること。

提案手法

• EPは、計算可能な要因に分解された近似を繰り返し改善することで、真の後方分布を近似する。
• 十分統計量（例：平均と分散）の一致を用いて、近似要因の真の後方分布との整合性を保つ。
• 要因グラフ内でメッセージパッシングを実行し、局所的証拠とグローバル整合性に基づいて近似要因を更新する。
• EPは離散的および連続的ノードの両方を扱えるため、ハイブリッドベイジアンネットワークに適している。
• 標準的なベイズ推論とは異なり、変数間の相関を捉えるより豊かな信念状態を伝搬する。
• 繰り返しの改善によって、近似後方分布と真の後方分布のKLダイバージェンスを最小化する。

実験結果

リサーチクエスチョン

• RQ1 決定的近似手法として、ループ付きベイズ推論や変分推論といった既存手法を統合・上回ることができるか？
• RQ2 離散的および連続的変数を含むハイブリッドベイジアンネットワークへの近似推論をどのように拡張できるか？
• RQ3 EPは、計算コストが同等のラプラス法や変分ベイズよりも高い精度を達成できるか？
• RQ4 EPは、標準的なベイズ推論と比較して、相関のある変数をどのようにモデル化するか？
• RQ5 EPは、ベイズポイントマシンの学習といった実世界の学習タスクに効率的に応用できるか？

主な発見

• EPは、ガウス・ミックスチャネル・モデルにおいて、ラプラス法、変分ベイズ、モンテカルロ法よりも顕著に高い近似精度を達成する。
• 計算複雑度が同等であるにもかかわらず、より優れた予測性能を示し、その効率性を裏付ける。
• EPはハイブリッドベイジアンネットワークを効果的に扱い、純粋に離散的なモデルに限らないベイズ推論の適用範囲を拡張する。
• 一次モーメントに加え、高次モーメントと相関を保持することで、平均場法よりもより正確な後方分布近似を提供する。
• EPは、ベイズポイントマシン分類器の効率的学習を可能にし、機械学習応用における実用的価値を示す。
• 実験的結果から、EPがネットワーク全体で一貫した十分統計量に収束することが確認され、繰り返しの改善プロセスの妥当性が裏付けられた。