[論文レビュー] Expectation Propagation for Continuous Time Bayesian Networks

Uri Nodelman, Daphne Koller+1 more|arXiv (Cornell University)|Jul 4, 2012

Bayesian Modeling and Causal Inference参考文献 9被引用数 67

ひとこと要約

本論文では、経路に基づくクラスタを備えたクラスターグラフ上で期待値伝搬（EP）を用いた、連続時間ベイジアンネットワーク（CTBNs）の近似推論手法を提案する。CTBNを指数型分布族内でパラメータ化し、各変数ごとに時間分解能を適応的に設定することで、連続時間区間および離散的証拠点における効率的かつスケーラブルな推論が可能となり、CTBNにおける正確な推論の非効率性を克服する。

ABSTRACT

Continuous time Bayesian networks (CTBNs) describe structured stochastic processes with finitely many states that evolve over continuous time. A CTBN is a directed (possibly cyclic) dependency graph over a set of variables, each of which represents a finite state continuous time Markov process whose transition model is a function of its parents. As shown previously, exact inference in CTBNs is intractable. We address the problem of approximate inference, allowing for general queries conditioned on evidence over continuous time intervals and at discrete time points. We show how CTBNs can be parameterized within the exponential family, and use that insight to develop a message passing scheme in cluster graphs and allows us to apply expectation propagation to CTBNs. The clusters in our cluster graph do not contain distributions over the cluster variables at individual time points, but distributions over trajectories of the variables throughout a duration. Thus, unlike discrete time temporal models such as dynamic Bayesian networks, we can adapt the time granularity at which we reason for different variables and in different conditions.

研究の動機と目的

• 連続時間における構造的確率過程をモデル化する連続時間ベイジアンネットワーク（CTBNs）における正確な推論の非効率性に対処すること。
• 連続時間区間および離散的時間点における一般化されたクエリをサポートする、スケーラブルで柔軟な近似推論フレームワークを開発すること。
• 個々の時間点ではなく、変数の全経路の分布をモデル化することにより、推論における変数固有の時間分解能を可能にすること。
• 経路に基づくクラスタを備えたクラスターグラフを構築し、指数型分布族のパラメータ化を活用することで、CTBNに期待値伝搬（EP）を適用すること。

提案手法

• 著者らは、十分統計量を用いた効率的なメッセージスティンを可能にするために、CTBNを指数型分布族内でパラメータ化する。
• 各クラスタが連続時間区間における変数の経路の分布を表す、クラスターグラフを設計する。これは、離散的時間点におけるものとは異なり、経路に焦点を当てる。
• メッセージスティンをクラスタ間で実行し、経路の真の事後分布を近似するために期待値伝搬（EP）を用いる。
• 各変数ごとに時間分解能を適応的に調整でき、動的に力学的特性と証拠に基づいて解像度を変更可能である。
• 離散的時間点における証拠および連続時間区間におけるクエリを条件付きにサポートする。
• CTBNの構造と指数型分布族の性質を活用することで、計算の tractability を維持しつつ、近似の精度を向上させる。

実験結果

リサーチクエスチョン

• RQ1 CTBNにおける近似推論を、連続的時間証拠をサポートしながらも、スケーラブルかつ効率的に行う方法は何か？
• RQ2 クラスターグラフにおける経路に基づくクラスタは、離散的時間モデルと比較して、CTBNにおける推論の精度と柔軟性を向上させるか？
• RQ3 CTBN推論において、計算効率を損なわずに、変数ごとに時間分解能を適応的に調整できる範囲はどの程度か？
• RQ4 提案手法のEPベースのアプローチは、既存の近似推論手法と比較して、CTBNクエリにおける収束性と精度の面でどのように差をつけるか？
• RQ5 CTBNの指数型分布族のパラメータ化は、クラスタベースのフレームワークで十分統計量を用いたメッセージスティンを有効に活用できるか？

主な発見

• 提案されたEPベースの推論手法は、連続時間区間および離散的時間証拠点におけるCTBNの事後分布の正確な近似を達成している。
• 全経路の分布をモデル化することで、必要に応じて変数固有の時間分解能が可能となり、効率性と精度の両方を向上させている。
• 指数型分布族のパラメータ化のおかげで、十分統計量を用いた効率的なメッセージスティンが可能となり、計算オーバーヘッドが低減されている。
• クラスターグラフの構造により、関連する時間区間および変数の依存関係に限定された計算を局所化することで、スケーラブルな推論が可能になっている。
• 正確な推論が非現実的である複雑な現実世界の確率過程に対しても、実用的応用が可能であることが示された。
• 実験的結果から、この手法は信頼性高く収束し、ベンチマーク用CTBNクエリにおいてベースライン手法と比較して競争力のある精度を示している。