[论文解读] Expectation Propagation for Continuous Time Bayesian Networks

Uri Nodelman, Daphne Koller+1 more|arXiv (Cornell University)|Jul 4, 2012

Bayesian Modeling and Causal Inference参考文献 9被引用 67

一句话总结

本文提出了一种基于期望传播（EP）的连续时间贝叶斯网络（CTBNs）近似推理方法，采用基于轨迹的聚类图结构。通过将CTBNs参数化为指数族分布，并为每个变量自适应调整时间粒度，该方法实现了在连续时间区间和离散证据点上的高效、可扩展推理，克服了CTBNs精确推理的不可行性。

ABSTRACT

Continuous time Bayesian networks (CTBNs) describe structured stochastic processes with finitely many states that evolve over continuous time. A CTBN is a directed (possibly cyclic) dependency graph over a set of variables, each of which represents a finite state continuous time Markov process whose transition model is a function of its parents. As shown previously, exact inference in CTBNs is intractable. We address the problem of approximate inference, allowing for general queries conditioned on evidence over continuous time intervals and at discrete time points. We show how CTBNs can be parameterized within the exponential family, and use that insight to develop a message passing scheme in cluster graphs and allows us to apply expectation propagation to CTBNs. The clusters in our cluster graph do not contain distributions over the cluster variables at individual time points, but distributions over trajectories of the variables throughout a duration. Thus, unlike discrete time temporal models such as dynamic Bayesian networks, we can adapt the time granularity at which we reason for different variables and in different conditions.

研究动机与目标

• 为解决连续时间贝叶斯网络（CTBNs）中精确推理的不可行性，CTBNs用于建模连续时间上的结构化随机过程。
• 开发一种可扩展且灵活的近似推理框架，支持对连续时间区间和离散时间点的一般性查询。
• 通过建模变量轨迹的整个分布而非单个时间点，实现在推理中对变量特定的时间粒度。
• 通过构建基于轨迹的聚类图并将EP应用于CTBNs，结合指数族参数化，实现推理。

提出的方法

• 作者将CTBNs参数化在指数族中，以利用充分统计量实现高效的信念传播。
• 设计了一种聚类图，其中每个聚类代表变量在连续时间区间内轨迹的分布，而非离散时间点的分布。
• 通过期望传播在聚类之间进行信念传播，以近似轨迹上的真实后验分布。
• 该方法支持每变量自适应的时间粒度，根据动态特性和证据动态调整分辨率。
• 该算法支持基于离散时间点证据和连续时间区间证据的一般性查询。
• 该方法利用CTBNs的结构和指数族的性质，在保持计算可行性的同时提升了近似精度。

实验结果

研究问题

• RQ1 如何使CTBNs中的近似推理在支持连续时间证据的同时实现可扩展性和高效性？
• RQ2 与离散时间模型相比，聚类图中基于轨迹的聚类是否能提升CTBNs推理的准确性和灵活性？
• RQ3 在不牺牲计算效率的前提下，CTBN推理中每变量的时间粒度可自适应调整到何种程度？
• RQ4 与现有近似推理技术相比，所提出的基于EP的方法在收敛性和CTBN查询精度方面表现如何？
• RQ5 CTBNs的指数族参数化是否可有效用于在基于聚类的框架中实现基于充分统计量的信念传播？

主要发现

• 所提出的基于EP的推理方法在CTBNs中对连续时间区间和离散时间证据点的后验分布实现了高精度近似。
• 通过建模整个轨迹的分布，该方法实现了变量特定的时间粒度，提高了在需要高精度区域的效率和准确性。
• 采用指数族参数化使得基于充分统计量的信念传播更加高效，降低了计算开销。
• 聚类图结构通过将计算限制在相关的时间区间和变量依赖关系中，支持可扩展推理。
• 该方法在精确推理不可行的复杂真实世界随机过程中表现出实际适用性。
• 实验结果表明，该方法收敛稳定，并在基准CTBN查询上与基线方法相比表现出具有竞争力的精度。