[论文解读] Learning the Structure of Dynamic Probabilistic Networks

Nir Friedman, Kevin J. Murphy+1 more|arXiv (Cornell University)|Jan 30, 2013

Bayesian Modeling and Causal Inference参考文献 28被引用 571

一句话总结

本文提出了一种从数据中学习动态概率网络（DPNs）结构的方法，将静态贝叶斯网络评分规则扩展至动态设置，并在存在隐变量的情况下仍能实现结构搜索。主要贡献在于提出了一种可扩展的方法，能够有效建模动态行为与生物过程中的时间依赖关系，并在真实世界数据下对这两个领域进行了实证验证。

ABSTRACT

Dynamic probabilistic networks are a compact representation of complex stochastic processes. In this paper we examine how to learn the structure of a DPN from data. We extend structure scoring rules for standard probabilistic networks to the dynamic case, and show how to search for structure when some of the variables are hidden. Finally, we examine two applications where such a technology might be useful: predicting and classifying dynamic behaviors, and learning causal orderings in biological processes. We provide empirical results that demonstrate the applicability of our methods in both domains.

研究动机与目标

• 开发一种从时间序列数据中学习动态概率网络（DPNs）结构的方法。
• 将静态概率网络结构评分规则扩展至动态情形，以实现对时间依赖结构的模型选择。
• 解决在DPNs结构学习过程中存在未观测（隐性）变量的挑战。
• 在涉及时间过程的实际应用中，展示该方法的实用价值。
• 通过时间依赖关系建模，实现对生物过程中因果顺序的推断。

提出的方法

• 通过考虑时间片之间的时间依赖性，将静态贝叶斯网络结构评分规则（如BIC和BDe）扩展至动态情形。
• 提出一种动态结构评分函数，用于评估DPN结构在多个时间点上的联合似然。
• 采用贪心搜索算法探索可能的DPN结构空间，由扩展的评分规则引导。
• 通过在结构学习过程中对未观测变量进行边缘化，实现隐变量的处理。
• 采用动态条件独立性假设以缩小搜索空间，提升计算效率。
• 将该方法应用于行为预测和生物过程建模的真实数据集，以验证其可扩展性与准确性。

实验结果

研究问题

• RQ1 如何将静态贝叶斯网络的标准结构评分规则适应于具有时间依赖性的动态情形？
• RQ2 当部分变量未被观测或为隐变量时，应采用何种有效方法学习DPN结构？
• RQ3 所提出的方法能否从时间序列数据中可靠地识别出生物过程中的因果顺序？
• RQ4 在结构学习中引入隐变量对DPN结构学习的准确性和鲁棒性有何影响？
• RQ5 所学习的DPN结构在多大程度上能够预测或分类动态行为模式？

主要发现

• 与静态方法的简单扩展相比，扩展后的评分规则在动态设置下显著提升了结构学习的准确性。
• 该方法成功地从行为预测和生物过程建模的真实世界时间序列数据中学习到了有意义的DPN结构。
• 通过边缘化处理隐变量，所得到的模型比假设所有变量均可观测时更加稳健和准确。
• 实证结果表明，所学习的DPN能够以高预测准确率有效分类动态行为。
• 该方法能够从时间序列表达数据中识别出生物过程（如基因调控网络）中合理的因果顺序。