[論文レビュー] Expectation Maximization and Complex Duration Distributions for Continuous Time Bayesian Networks

Uri Nodelman, Christian R. Shelton+1 more|arXiv (Cornell University)|Jul 4, 2012

Bayesian Modeling and Causal Inference参考文献 17被引用数 66

ひとこと要約

本稿は、部分観測データからの学習を可能にするために、連続時間ベイジアンネットワーク（CTBNs）を拡張し、期待値最大化（EM）および構造的EM（SEM）を統合した。これにより、任意の期間分布を近似可能な非常に表現力のある半パラメトリックモデルであるフェーズ型分布を導入できる。この手法は、従来のCTBNや動的ベイジアンネットワーク（DBNs）と比較して、特に現実の寿命データにおける複雑な期間パターンを捉える能力が著しく向上する。

ABSTRACT

Continuous time Bayesian networks (CTBNs) describe structured stochastic processes with finitely many states that evolve over continuous time. A CTBN is a directed (possibly cyclic) dependency graph over a set of variables, each of which represents a finite state continuous time Markov process whose transition model is a function of its parents. We address the problem of learning the parameters and structure of a CTBN from partially observed data. We show how to apply expectation maximization (EM) and structural expectation maximization (SEM) to CTBNs. The availability of the EM algorithm allows us to extend the representation of CTBNs to allow a much richer class of transition durations distributions, known as phase distributions. This class is a highly expressive semi-parametric representation, which can approximate any duration distribution arbitrarily closely. This extension to the CTBN framework addresses one of the main limitations of both CTBNs and DBNs - the restriction to exponentially / geometrically distributed duration. We present experimental results on a real data set of people's life spans, showing that our algorithm learns reasonable models - structure and parameters - from partially observed data, and, with the use of phase distributions, achieves better performance than DBNs.

研究の動機と目的

• CTBNやDBNが非指数分布の期間分布をモデリングする点での制限を解消する。
• 部分観測された時系列データからCTBNの構造とパラメータを学習可能にする。
• フェーズ型分布を用いて、任意の期間分布を柔軟に半パラメトリックに表現する手法を導入する。
• 現実の連続時間確率過程におけるモデリング精度と予測性能を向上させる。
• EMおよびSEMアルゴリズムが、豊富な期間ダイナミクスを持つ複雑なCTBNの学習に有効であることを実証する。

提案手法

• 部分観測データからCTBNのパラメータを推定するために、期待値最大化（EM）アルゴリズムを適応する。
• 不完全な時系列データからCTBNの構造を学習するために、構造的EM（SEM）アルゴリズムを拡張する。
• 任意の期間分布をモデリングするための柔軟で半パラメトリックな表現として、フェーズ型分布を導入する。
• 各変数の遷移強度を親変数の関数としてモデル化し、フェーズ型分布を用いて複雑な無記憶的および記憶付きのダイナミクスを捉える。
• フェーズ型モデリングの基盤として、隠れ半マルコフ過程をCTBNフレームワーク内に導入する。
• 潜在状態遷移の上での十分統計量の期待値を計算することで、EMアルゴリズムを繰り返し適用し、パラメータ推定値を改善する。

実験結果

リサーチクエスチョン

• RQ1 EMおよびSEMは、部分観測された連続時間データからCTBNを効果的に学習するために適応可能か？
• RQ2 フェーズ型分布は、指数分布や幾何分布と比較して、CTBNにおける期間分布のモデリングを顕著に改善できるか？
• RQ3 フェーズ型分布を用いた拡張CTBNフレームワークは、実データにおいて標準的なDBNやCTBNを上回る予測精度を達成できるか？
• RQ4 学習アルゴリズムは、不完全な観測から真のCTBNの構造とパラメータをどれほど正確に回復できるか？
• RQ5 フェーズ型分布は、現実のプロセスにおける複雑な非無記憶的期間パターンをどれほどよく近似可能にするか？

主な発見

• EMおよびSEMアルゴリズムは、部分観測データからCTBNの構造とパラメータを効果的に学習でき、頑健なモデル誘導を可能にする。
• フェーズ型分布により、CTBNは任意の期間分布を任意の精度で近似可能となり、指数分布や定数ハザードレートの制限を克服できる。
• フェーズ型分布を用いた拡張CTBNモデルは、実際の寿命データセットにおいて、標準的なDBNやCTBNと比較して顕著に優れた性能を示す。
• 不完全な時系列データから、生存プロセスの現実的な依存関係を反映する意味のある解釈可能な構造を学習する。
• フェーズ型分布の使用により、縦断的健康データで観測される複雑な非指数分布の期間パターンをより正確に表現できる。
• 実験的結果から、本手法は指数分布を用いたベースラインモデルと比較して、対数尤度と予測精度が向上することが示された。