[论文解读] Expectation Propogation for approximate inference in dynamic Bayesian networks

Tom Heskes, Onno Zoeter|arXiv (Cornell University)|Dec 12, 2012

Bayesian Modeling and Causal Inference参考文献 7被引用 8

一句话总结

本文提出将期望传播（EP）用于动态贝叶斯网络（DBNs）中的近似推理，将佩奇的精确信念传播扩展至处理复杂、非共轭模型。该方法提出了一种双循环EP算法，可收敛至Bethe自由能的局部极小值，展示了收敛稳定性，并成功应用于切换线性动态系统。

ABSTRACT

We describe expectation propagation for approximate inference in dynamic Bayesian networks as a natural extension of Pearl s exact belief propagation.Expectation propagation IS a greedy algorithm, converges IN many practical cases, but NOT always.We derive a DOUBLE - loop algorithm, guaranteed TO converge TO a local minimum OF a Bethe free energy.Furthermore, we show that stable fixed points OF (damped) expectation propagation correspond TO local minima OF this free energy, but that the converse need NOT be the CASE .We illustrate the algorithms BY applying them TO switching linear dynamical systems AND discuss implications FOR approximate inference IN general Bayesian networks.

研究动机与目标

• 将精确信念传播扩展至使用期望传播的动态贝叶斯网络中的近似推理。
• 解决在具有时变依赖关系的复杂、非共轭DBNs中精确推理的局限性。
• 开发一种稳定且收敛的近似推理算法，同时保持概率一致性。
• 建立阻尼EP的固定点与Bethe自由能局部极小值之间的理论联系。
• 以切换线性动态系统为基准，评估该方法在非线性、非高斯DBNs中的性能。

提出的方法

• 通过迭代优化隐藏状态的近似后验分布，将期望传播适配于动态贝叶斯网络。
• 采用双循环算法：外层循环更新充分统计量，内层循环通过矩匹配优化近似。
• 以Bethe自由能作为目标函数进行最小化，EP的固定点对应于该能量的局部极小值。
• 采用阻尼更新以提升迭代推理中的收敛稳定性。
• 推导出基于Bethe近似的环状图模型的变分推理框架。
• 采用局部线性化与矩匹配方法，近似切换线性动态系统中复杂的条件分布。

实验结果

研究问题

• RQ1 期望传播能否有效扩展至具有非共轭和非高斯因子的动态贝叶斯网络？
• RQ2 DBNs的双循环EP算法是否能收敛至稳定解，其收敛条件为何？
• RQ3 阻尼期望传播的固定点与DBNs中Bethe自由能的局部极小值之间有何关系？
• RQ4 EP能否在切换线性动态系统中提供准确且可扩展的近似推理？
• RQ5 EP收敛性与时间演化模型中Bethe自由能优化之间的理论关系是什么？

主要发现

• 双循环期望传播算法在动态贝叶斯网络中可保证收敛至Bethe自由能的局部极小值。
• 阻尼期望传播的稳定固定点对应于Bethe自由能的局部极小值，但反之不一定成立。
• 该方法在切换线性动态系统中成功实现了近似推理，展示了实际适用性。
• DBNs中的期望传播是一种贪心算法，在许多实际情况下可收敛，即使精确推理不可行。
• 理论框架在环状、时连续模型中建立了EP收敛性与变分自由能最小化之间的严谨联系。
• 实验结果表明，EP在标准方法失效的非线性、非高斯场景中仍能提供准确的后验近似。