[论文解读] Mean Field Variational Approximation for Continuous-Time Bayesian Networks

Ido Cohn, Tal El‐Hay+2 more|arXiv (Cornell University)|May 9, 2012

Bayesian Modeling and Causal Inference参考文献 32被引用 42

一句话总结

本文提出了一种针对连续时间贝叶斯网络（CTBNs）的平均场变分近似方法，使用非时齐马尔可夫过程的乘积来近似复杂的轨迹分布。该方法实现了高效且全局一致的推理，并提供了观测似然的下界，使其适用于大规模现实世界应用中的学习任务，且基于常微分方程（ODE）的计算具有可处理性。

ABSTRACT

Continuous-time Bayesian networks is a natural structured representation language for multicomponent stochastic processes that evolve continuously over time. Despite the compact representation, inference in such models is intractable even in relatively simple structured networks. Here we introduce a mean field variational approximation in which we use a product of inhomogeneous Markov processes to approximate a distribution over trajectories. This variational approach leads to a globally consistent distribution, which can be efficiently queried. Additionally, it provides a lower bound on the probability of observations, thus making it attractive for learning tasks. We provide the theoretical foundations for the approximation, an efficient implementation that exploits the wide range of highly optimized ordinary differential equations (ODE) solvers, experimentally explore characterizations of processes for which this approximation is suitable, and show applications to a large-scale realworld inference problem.

研究动机与目标

• 为解决连续时间贝叶斯网络（CTBNs）中精确推理的不可行性，CTBNs 用于建模随时间连续演化的多组件随机过程。
• 开发一种变分近似方法，以确保轨迹上近似分布的全局一致性。
• 提供观测数据边缘似然的下界，以促进从数据中进行学习。
• 通过利用常微分方程（ODE）的高效数值求解器，实现可扩展的推理。
• 在多样化随机过程上评估近似方法的适用性，并在大规模真实世界问题上展示其性能。

提出的方法

• 该方法使用一个因子化的非时齐马尔可夫过程族来近似真实轨迹后验分布。
• 每个分量过程定义在单个变量上，假设在其他变量当前状态给定下条件独立。
• 通过最小化近似后验与真实后验之间的Kullback-Leibler散度来优化变分参数。
• 将优化问题转化为求解控制变分参数时间演化的常微分方程组。
• 该方法利用现有的高度优化的ODE求解器，以高效计算近似中时变的转移率。
• 所得近似可生成在轨迹上有效的、全局一致的联合分布，从而支持可靠查询与学习。

实验结果

研究问题

• RQ1 平均场变分近似能否有效处理连续时间贝叶斯网络中的不可行推理问题？
• RQ2 将非时齐马尔可夫过程作为变分族是否能带来全局一致且计算高效的近似？
• RQ3 该近似在多大程度上能提供观测数据边缘似然的紧致下界？
• RQ4 该方法在真实世界大规模随机过程上的可扩展性与性能如何？
• RQ5 哪些类型的随机过程最适用于这种变分近似？

主要发现

• 平均场变分近似生成了轨迹上的全局一致分布，避免了局部近似中常见的不一致性。
• 该方法提供了观测数据边缘似然的有效下界，这对学习任务至关重要。
• 该方法通过将问题简化为求解常微分方程组，实现了高效的推理，这些方程可由标准且高度优化的数值求解器处理。
• 实证评估表明，该方法在大规模真实世界推理问题上表现良好，展示了其可扩展性与实际应用价值。
• 当平均场族的条件独立性假设在过程中基本成立时，该近似最为有效。
• 该方法在准确性和计算效率之间取得了良好平衡，在速度和一致性方面优于朴素或结构较弱的近似方法。