[論文レビュー] Expectation Propogation for approximate inference in dynamic Bayesian networks

Tom Heskes, Onno Zoeter|arXiv (Cornell University)|Dec 12, 2012

Bayesian Modeling and Causal Inference参考文献 7被引用数 8

ひとこと要約

本稿では、動的ベイジアンネットワーク（DBN）における近似推論のための期待値伝搬（EP）を導入し、ペイジの正確な信念伝搬を、複雑で共役でないモデルに対応するように拡張する。二重ループEPアルゴリズムを定式化し、ベーゼ自由エネルギーの局所的最小値に収束することを示し、収束の安定性とスイッチング線形動的システムへの適用可能性を確認した。

ABSTRACT

We describe expectation propagation for approximate inference in dynamic Bayesian networks as a natural extension of Pearl s exact belief propagation.Expectation propagation IS a greedy algorithm, converges IN many practical cases, but NOT always.We derive a DOUBLE - loop algorithm, guaranteed TO converge TO a local minimum OF a Bethe free energy.Furthermore, we show that stable fixed points OF (damped) expectation propagation correspond TO local minima OF this free energy, but that the converse need NOT be the CASE .We illustrate the algorithms BY applying them TO switching linear dynamical systems AND discuss implications FOR approximate inference IN general Bayesian networks.

研究の動機と目的

• 期待値伝搬を用いて、正確な信念伝搬を動的ベイジアンネットワークにおける近似推論に拡張すること。
• 時間発展する依存関係を有する複雑で共役でないDBNにおける正確な推論の限界を克服すること。
• 確率的整合性を保ちながら、安定で収束する近似推論のためのアルゴリズムを開発すること。
• 減衰付きEPの固定点とDBNにおけるベーゼ自由エネルギーの局所的最小値との間の理論的関係を確立すること。
• 非線形的・非ガウス的DBNのベンチマークとしてのスイッチング線形動的システムにおける手法の評価すること。

提案手法

• 隠れ状態の近似事後分布を繰り返し改善することで、期待値伝搬を動的ベイジアンネットワークに適応する。
• 二重ループアルゴリズムを採用：外側のループで十分統計を更新し、内側のループでモーメントマッチングを用いて近似を精緻化する。
• ベーゼ自由エネルギーを最小化する目的関数として用い、EPの固定点はこのエネルギーの局所的最小値に対応する。
• 反復的推論における収束安定性を向上させるために、減衰付き更新を適用する。
• ループを持つグラフィカルモデルにおけるベーゼ近似に基づく変分推論フレームワークを導出する。
• 局所的線形化とモーメントマッチングを用いて、スイッチング線形動的システムにおける複雑な条件付き分布を近似する。

実験結果

リサーチクエスチョン

• RQ1 非共役的かつ非ガウス的因子を有する動的ベイジアンネットワークに、期待値伝搬を効果的に拡張できるか？
• RQ2 DBNにおける二重ループEPアルゴリズムは安定な解に収束するか？ どのような条件下で？
• RQ3 減衰付き期待値伝搬の固定点は、DBNにおけるベーゼ自由エネルギーの局所的最小値とどのように関係するか？
• RQ4 EPはスイッチング線形動的システムにおいて、正確でスケーラブルな近似推論を提供できるか？
• RQ5 EPの収束と、時間発展モデルにおけるベーゼ自由エネルギーの最適化との間の理論的関係は何か？

主な発見

• 二重ループ期待値伝搬アルゴリズムは、動的ベイジアンネットワークにおいて、ベーゼ自由エネルギーの局所的最小値に保証的に収束する。
• 減衰付き期待値伝搬の安定な固定点はベーゼ自由エネルギーの局所的最小値に対応するが、逆は必ずしも成り立たない。
• 本手法はスイッチング線形動的システムにおける近似推論を効果的に実行でき、実用的応用性を示した。
• DBNにおける期待値伝搬は、正確な推論が困難な多くの実用的状況で収束するグリーディーなアルゴリズムである。
• 理論的枠組みにより、ループを持つ連続時間モデルにおけるEP収束と変分自由エネルギー最小化の間の厳密な関係を確立した。
• 実験結果から、EPは標準的手法が失敗する非線形的・非ガウス的状況においても、正確な事後分布の近似を提供することが示された。