[论文解读] Counting Belief Propagation

Kristian Kersting, Babak Ahmadi+1 more|arXiv (Cornell University)|May 9, 2012

Bayesian Modeling and Causal Inference参考文献 16被引用 149

一句话总结

本文提出计数信念传播（Counting Belief Propagation, CBP），一种新颖的算法，通过在图形模型中利用对称性，将不可区分的节点和因子压缩为簇节点和簇因子，从而增强标准信念传播。在压缩图上运行修改后的BP算法，CBP在关系推理和布尔模型计数等任务中实现了显著的效率提升——通常达到数量级的加速，且不损失正确性。

ABSTRACT

A major benefit of graphical models is that most knowledge is captured in the model structure. Many models, however, produce inference problems with a lot of symmetries not reflected in the graphical structure and hence not exploitable by efficient inference techniques such as belief propagation (BP). In this paper, we present a new and simple BP algorithm, called counting BP, that exploits such additional symmetries. Starting from a given factor graph, counting BP first constructs a compressed factor graph of clusternodes and clusterfactors, corresponding to sets of nodes and factors that are indistinguishable given the evidence. Then it runs a modified BP algorithm on the compressed graph that is equivalent to running BP on the original factor graph. Our experiments show that counting BP is applicable to a variety of important AI tasks such as (dynamic) relational models and boolean model counting, and that significant efficiency gains are obtainable, often by orders of magnitude.

研究动机与目标

• 解决标准信念传播在利用图形模型显式结构之外的结构性对称性方面的局限性。
• 克服高对称性模型（如动态关系模型和布尔模型计数问题）中推理效率低下的问题。
• 开发一种在保持精确推理的同时，通过结构压缩显著降低计算成本的方法。
• 在传统BP因对称组件间冗余计算而过慢的复杂AI模型中，实现可扩展的推理。

提出的方法

• 基于证据，将不可区分的节点和因子聚类为簇节点和簇因子，构建压缩因子图。
• 将簇因子定义为在给定证据下对称的一组原始因子的联合势的充分统计量。
• 在压缩图上应用修改后的信念传播算法，消息在簇节点与簇因子之间交换。
• 确保压缩图中的消息传递规则在数学上等价于原始因子图上的标准BP。
• 使用规范表示法对簇进行编码，以在预处理阶段高效检测并分组对称组件。
• 利用压缩结构避免在推理过程中对对称子结构进行冗余计算。

实验结果

研究问题

• RQ1 图形模型中除显式结构外的额外对称性是否可被利用以提升推理效率？
• RQ2 信念传播如何适应在保持精确推理的前提下操作于因子图的压缩表示？
• RQ3 基于对称性的压缩在现实世界AI应用（如关系模型和模型计数）中能在多大程度上降低计算成本？
• RQ4 检测和压缩对称组件的计算开销与推理速度提升相比如何？
• RQ5 所提出的方法在基准任务上是否在实现显著性能提升的同时保持正确性？

主要发现

• 通过利用隐藏对称性，CBP在关系模型和布尔模型计数问题上实现了推理时间的数量级加速。
• 压缩图表示可实现与原始图上标准信念传播等价的精确推理。
• 该方法在多种AI任务中均表现有效，包括动态关系模型和命题模型计数。
• 压缩步骤高效且可扩展，与推理速度的提升相比，其开销可忽略不计。
• 实验结果表明在标准基准测试中性能显著提升，证明了对称感知推理的实用可行性。
• 该算法保持正确性和完备性，确保结果并非近似，而是通过优化计算得出。