[論文レビュー] Discovering the Hidden Structure of Complex Dynamic Systems

Xavier Boyen, Nir Friedman+1 more|arXiv (Cornell University)|Jan 23, 2013

Bayesian Modeling and Causal Inference参考文献 13被引用数 17

ひとこと要約

本稿では、構造的期待最大化（SEM）を用いて複雑な動的システムの隠れ構造を学習するための効率的なアルゴリズムを提案する。本手法は、十分統計量の計算のための新規近似法と、マークフ・性質の破綻を特定することで未観測変数を検出・導入する手法を備えている。このアプローチにより、部分的または未知の観測性を有するシステムにおいて、実行可能でデータ駆動型の潜在的ダイナミクスの同定が可能になる。

ABSTRACT

Dynamic Bayesian networks provide a compact and natural representation for complex dynamic systems. However, in many cases, there is no expert available from whom a model can be elicited. Learning provides an alternative approach for constructing models of dynamic systems. In this paper, we address some of the crucial computational aspects of learning the structure of dynamic systems, particularly those where some relevant variables are partially observed or even entirely unknown. Our approach is based on the Structural Expectation Maximization (SEM) algorithm. The main computational cost of the SEM algorithm is the gathering of expected sufficient statistics. We propose a novel approximation scheme that allows these sufficient statistics to be computed efficiently. We also investigate the fundamental problem of discovering the existence of hidden variables without exhaustive and expensive search. Our approach is based on the observation that, in dynamic systems, ignoring a hidden variable typically results in a violation of the Markov property. Thus, our algorithm searches for such violations in the data, and introduces hidden variables to explain them. We provide empirical results showing that the algorithm is able to learn the dynamics of complex systems in a computationally tractable way.

研究の動機と目的

• 専門家モデルが利用できない状況における動的システム構造の学習の課題に取り組む。
• 動的システムにおけるSEMの計算ボトルネックを克服し、隠れ変数のための十分統計量を効率的に推定する。
• 観測データにおけるマークフ・性質の破綻を特定することで、未観測変数の存在を検出する。
• 全探索を伴わずに、動的ベイジアンネットワークにおける潜在的構造をスケーラブルに推論する手法を開発する。
• 不完全または部分的に観測されたデータから、複雑なシステムダイナミクスの実用的学習を可能にする。

提案手法

• データから動的ベイジアンネットワーク構造を学習するために、構造的期待最大化（SEM）アルゴリズムを適応させる。
• 計算コストを低減するために、期待十分統計量を効率的に計算するための新規近似スキームを導入する。
• データの時間的依存性を活用してマークフ・性質の破綻を検出し、隠れ変数の存在を示唆する。
• 検出されたマークフ・性質の破綻を解消するために、体系的に隠れ変数を導入し、モデル適合度を向上させる。
• 時間ラグごとの条件付き独立性検定を用いて、未観測の交絡要因を示す構造的不一致を同定する。
• 統計的証拠に基づき、必要に応じて隠れノードを追加することで、反復的にモデル構造を精緻化する。

実験結果

リサーチクエスチョン

• RQ1 一部の変数が未観測または隠れ変数として存在する場合、どのようにして効率的に動的システムの構造を学習できるか？
• RQ2 動的システムにおけるSEMの十分統計量推定のコストを低減するための計算技術は何か？
• RQ3 事前知識なしで全探索を伴わず、隠れ変数の存在を自動的に検出する方法は何か？
• RQ4 時系列データにおけるマークフ・性質の破綻が、潜在的交絡要因の存在をどのように示唆するか？
• RQ5 スケーラブルでデータ駆動型の方法を用いて、複雑な動的システムにおける隠れ構造を同定できるか？

主な発見

• 提案された近似スキームにより、SEMにおける期待十分統計量の収集にかかる計算コストが顕著に低減された。
• 本手法は、観測された時系列データにおけるマークフ・性質の破綻を特定することで、隠れ変数を効果的に検出できた。
• 実験的結果から、アルゴリズムが計算的に実行可能なかたちで複雑な動的システム構造を学習できることを示した。
• 重要な変数が部分的または完全に未観測であっても、正確なモデル同定が可能であることを示した。
• 時間的依存性に基づく統計的検定を用いることで、隠れ変数の全探索を回避した。
• 合成データおよび実世界の動的システムにおいて、UAI 1999の議事録で確認されたように、効果的な構造学習が達成された。