[論文レビュー] Mean Field Variational Approximation for Continuous-Time Bayesian Networks

Ido Cohn, Tal El‐Hay+2 more|arXiv (Cornell University)|May 9, 2012

Bayesian Modeling and Causal Inference参考文献 32被引用数 42

ひとこと要約

本論文は、連続時間ベイジアンネットワーク（CTBNs）のための平均場変分近似を提案し、複雑な軌道分布を近似するために非一様マルコフ過程の積を用いる。この手法により、効率的でグローバルに一貫性のある推論が可能となり、観測尤度の下界が得られる。これにより、OEDベースの計算が扱いやすいことから、大規模な実世界応用における学習タスクに適している。

ABSTRACT

Continuous-time Bayesian networks is a natural structured representation language for multicomponent stochastic processes that evolve continuously over time. Despite the compact representation, inference in such models is intractable even in relatively simple structured networks. Here we introduce a mean field variational approximation in which we use a product of inhomogeneous Markov processes to approximate a distribution over trajectories. This variational approach leads to a globally consistent distribution, which can be efficiently queried. Additionally, it provides a lower bound on the probability of observations, thus making it attractive for learning tasks. We provide the theoretical foundations for the approximation, an efficient implementation that exploits the wide range of highly optimized ordinary differential equations (ODE) solvers, experimentally explore characterizations of processes for which this approximation is suitable, and show applications to a large-scale realworld inference problem.

研究の動機と目的

• 連続時間ベイジアンネットワーク（CTBNs）における正確な推論の非可解性に対処すること。CTBNsは連続時間にわたって進化する多要素確率過程をモデル化する。
• 軌道上の近似分布に対してグローバル一貫性を保証する変分近似を開発すること。
• 観測の周辺尤度に対する下界を提供し、データからの学習を容易にすること。
• 常微分方程式（ODE）の効率的数値解法を活用することで、スケーラブルな推論を可能にすること。
• 多様な確率過程における近似の適性を評価し、大規模な実世界問題における性能を示すこと。

提案手法

• 真の後方分布を、非一様マルコフ過程の因数分解族によって軌道上での近似する。
• 各成分過程は単一の変数上で定義され、他の変数の現在の状態が与えられたもとで条件付き独立を仮定する。
• 近似後方分布と真の後方分布との間のカルバック・ライブラー発散を最小化するように変分パラメータを最適化する。
• 最適化問題は、変分パラメータの時間的変化を支配するODEの連立方程式に変換される。
• 既存の高度に最適化されたODEソルバを活用して、近似における時間依存の遷移率を効率的に計算する。
• 得られた近似は、軌道上の有効でグローバルに一貫性のある結合分布を提供し、信頼性の高い照会と学習を可能にする。

実験結果

リサーチクエスチョン

• RQ1 平均場変分近似は、連続時間ベイジアンネットワークにおける非可解な推論問題を効果的に扱えるか？
• RQ2 変分族として非一様マルコフ過程を用いることで、グローバルに一貫性があり、計算的にも効率的な近似が得られるか？
• RQ3 近似が観測データの周辺尤度に対してどの程度きつい下界を提供するか？
• RQ4 本手法は、実世界の大規模な確率過程においてどの程度スケーラブルで、性能を発揮するか？
• RQ5 どのような種類の確率過程が、この変分近似に対して最も適しているか？

主な発見

• 平均場変分近似は、局所的近似で一般的に生じる不整合を回避する、軌道上のグローバルに一貫性のある分布を生成する。
• 観測の周辺尤度に対する有効な下界を提供する。これは、学習タスクにとって不可欠である。
• 問題をODEの連立方程式の解法に還元することで、効率的な推論が可能になる。これは、標準的かつ最適化された数値ソルバで処理できる。
• 実験的評価では、大規模な実世界の推論問題において本手法が良好に機能し、スケーラビリティと実用的有用性を示した。
• 平均場族の条件付き独立仮定が比較的満たされているプロセスに対して、近似は最も効果的である。
• 精度と計算効率の良いトレードオフを達成しており、速度と一貫性の両面で、単純なまたは構造のない近似よりも優れている。