[论文解读] Discovering the Hidden Structure of Complex Dynamic Systems

Xavier Boyen, Nir Friedman+1 more|arXiv (Cornell University)|Jan 23, 2013

Bayesian Modeling and Causal Inference参考文献 13被引用 17

一句话总结

本文提出了一种高效算法，利用结构期望最大化（SEM）学习复杂动态系统的隐藏结构，采用新颖的充分统计量计算近似方法，并通过识别马尔可夫性质违反情况来检测并引入未观测变量。该方法实现了在部分或未知可观测性条件下的可处理、数据驱动的隐性动态发现。

ABSTRACT

Dynamic Bayesian networks provide a compact and natural representation for complex dynamic systems. However, in many cases, there is no expert available from whom a model can be elicited. Learning provides an alternative approach for constructing models of dynamic systems. In this paper, we address some of the crucial computational aspects of learning the structure of dynamic systems, particularly those where some relevant variables are partially observed or even entirely unknown. Our approach is based on the Structural Expectation Maximization (SEM) algorithm. The main computational cost of the SEM algorithm is the gathering of expected sufficient statistics. We propose a novel approximation scheme that allows these sufficient statistics to be computed efficiently. We also investigate the fundamental problem of discovering the existence of hidden variables without exhaustive and expensive search. Our approach is based on the observation that, in dynamic systems, ignoring a hidden variable typically results in a violation of the Markov property. Thus, our algorithm searches for such violations in the data, and introduces hidden variables to explain them. We provide empirical results showing that the algorithm is able to learn the dynamics of complex systems in a computationally tractable way.

研究动机与目标

• 解决在无专家模型可用时学习动态系统结构的挑战。
• 通过高效估计隐藏变量的充分统计量，克服SEM在计算上的瓶颈。
• 通过识别观测数据中马尔可夫性质的违反，检测未观测变量的存在。
• 开发一种可扩展的方法，无需穷举搜索即可推断动态贝叶斯网络中的潜在结构。
• 实现从不完整或部分观测数据中对复杂系统动态的实际学习。

提出的方法

• 将结构期望最大化（SEM）算法适配于从数据中学习动态贝叶斯网络结构。
• 引入一种新颖的近似方案，以高效计算期望充分统计量，降低计算成本。
• 利用数据中的时序依赖关系检测马尔可夫性质的违反，指示隐藏变量的存在。
• 系统性地引入隐藏变量以解决检测到的马尔可夫性质违反，并改善模型拟合度。
• 利用不同时间延迟上的条件独立性检验，识别表明存在未观测混杂因子的结构不一致性。
• 通过数据提供的统计证据，迭代地在必要时添加隐藏节点以优化模型结构。

实验结果

研究问题

• RQ1 当某些变量未被观测或隐藏时，如何高效学习动态系统的结构？
• RQ2 在动态系统的SEM中，可采用哪些计算技术来降低充分统计量估计的成本？
• RQ3 如何在无先验知识或无需穷举搜索的情况下自动检测隐藏变量的存在？
• RQ4 时间序列数据中马尔可夫性质的违反以何种方式表明潜在混杂因子的存在？
• RQ5 我们能否开发一种可扩展、数据驱动的方法，以推断复杂动态系统中的隐藏结构？

主要发现

• 所提出的近似方案显著降低了在SEM中收集期望充分统计量的计算成本。
• 该方法通过识别观测时间序列数据中马尔可夫性质的违反，成功检测出隐藏变量。
• 实证结果表明，该算法能够以计算上可处理的方式学习复杂动态系统结构。
• 即使关键变量部分或完全未被观测，该方法也能实现准确的模型发现。
• 该算法通过基于时序依赖关系的统计检验，避免了对隐藏变量的穷举搜索。
• 该方法在合成数据和真实世界动态系统上均实现了有效的结构学习，其有效性已在UAI 1999年会议论文集中得到验证。