[论文解读] Improved Dynamic Schedules for Belief Propagation

Charles Sutton, Andrew McCallum|arXiv (Cornell University)|Jun 20, 2012

Bayesian Modeling and Causal Inference参考文献 12被引用 43

一句话总结

该论文提出了一种动态信念传播调度方法，通过估计消息残差而非精确计算，显著减少了消息更新次数和总运行时间。通过使用消息误差的上界来指导调度，该方法在合成网络和真实网络上实现了高达五倍的加速，且未降低推理质量。

ABSTRACT

Belief propagation and its variants are popular methods for approximate inference, but their running time and even their convergence depend greatly on the schedule used to send the messages. Recently, dynamic update schedules have been shown to converge much faster on hard networks than static schedules, namely the residual BP schedule of Elidan et al. [2006]. But that RBP algorithm wastes message updates: many messages are computed solely to determine their priority, and are never actually performed. In this paper, we show that estimating the residual, rather than calculating it directly, leads to significant decreases in the number of messages required for convergence, and in the total running time. The residual is estimated using an upper bound based on recent work on message errors in BP. On both synthetic and real-world networks, this dramatically decreases the running time of BP, in some cases by a factor of five, without affecting the quality of the solution.

研究动机与目标

• 解决动态信念传播调度中仅依赖残差计算进行优先级分配所导致的效率低下问题。
• 减少在复杂网络上信念传播收敛所需的的消息更新次数。
• 在合成网络和真实世界贝叶斯网络中，提升运行效率而不牺牲推理质量。
• 开发一种实用且可扩展的动态调度方法，使用基于误差的上界替代精确残差计算。

提出的方法

• 该方法用基于信念传播中消息误差界最新理论研究推导出的上界估计，替代精确残差计算。
• 利用估计的残差来优先安排消息更新，从而在保持收敛速度的同时降低计算开销。
• 调度算法根据估计残差的大小动态选择下一条要更新的消息。
• 该方法被集成到标准信念传播框架中，对现有实现的修改极少。
• 所使用的误差界基于当前消息值与最优消息值之间的差异，为残差重要性提供了一个保守但有效的代理。

实验结果

研究问题

• RQ1 在动态信念传播调度中，能否用残差估计替代精确残差计算，而不降低收敛性或解的质量？
• RQ2 与精确残差相比，使用估计残差可将消息更新次数减少多少？
• RQ3 所提出的方法在合成网络和真实世界贝叶斯网络上是否均能保持快速收敛？
• RQ4 与传统动态调度相比，残差估计对总运行时间的影响如何？
• RQ5 消息误差的上界能否作为信念传播中消息调度的可靠启发式方法？

主要发现

• 在测试的网络上，所提方法将收敛所需的消息更新次数最多减少了五倍。
• 在合成网络和真实世界贝叶斯网络上，该方法显著提升了总运行时间，加速效果最高达五倍。
• 最终推理结果的质量得到保持，与精确残差调度相比，精度无任何下降。
• 与精确残差相比，使用估计残差带来了显著的计算节省，尤其在困难的推理问题中更为明显。
• 该方法在多种网络结构上表现出稳健性能，包括高树宽和复杂依赖关系的网络。