[论文解读] Approximate inference on planar graphs using Loop Calculus and Belief Propagation

Vicenç Gómez, Hilbert J. Kappen+1 more|ArXiv.org|Jan 7, 2009

Bayesian Modeling and Causal Inference参考文献 32被引用 7

一句话总结

该论文提出了一种基于环路微积分和信念传播的高效近似方法，用于计算平面图模型中的配分函数。通过将环路级数重新表述为扩展图上完美匹配的佩费尔曼（Pfaffian）求和，该方法实现了对一阶修正项的多项式时间计算，从而得到高度精确的近似结果，其性能优于先前的截断方案以及在网格和一般平面图上的二元成对模型的最先进推理方法。

ABSTRACT

We introduce novel results for approximate inference on planar graphical models using the loop calculus framework. The loop calculus (Chertkov and Chernyak, 2006) allows to express the exact partition function of a graphical model as a finite sum of terms that can be evaluated once the belief propagation (BP) solution is known. In general, full summation over all correction terms is intractable. We develop an algorithm for the approach presented in (Certkov et al., 2008) which represents an efficient truncation scheme on planar graphs and a new representation of the series in terms of Pfaffians of matrices. We analyze the performance of the algorithm for the partition function approximation for models with binary variables and pairwise interactions on grids and other planar graphs. We study in detail both the loop series and the equivalent Pfaffian series and show that the first term of the Pfaffian series for the general, intractable planar model, can provide very accurate approximations. The algorithm outperforms previous truncation schemes of the loop series and is competitive with other state-of-the-art methods for approximate inference.

研究动机与目标

• 开发一种计算高效的配分函数近似方案，适用于精确推理不可行的平面图模型。
• 通过引入一种专为平面图设计的新截断策略，解决环路微积分中完整环路级数求和的不可行性问题。
• 利用扩展图上的佩费尔曼计算，实现环路级数中关键修正项的多项式时间评估。
• 证明佩费尔曼级数的第一项即使在存在外场的一般平面模型中，也能提供高度精确的近似。
• 建立一种实用算法，其性能优于现有环路级数截断方法，并可与最先进的近似推理技术相媲美。

提出的方法

• 将原始平面图模型转换为福尔尼（Forney）图表示，以促进环路微积分和基于佩费尔曼的计算的应用。
• 应用环路微积分，将精确配分函数表示为广义环路（环路级数）的有限和，其中每一项对应于每个节点度数至少为二的子图。
• 将环路级数重新表述为从扩展图导出的反对称矩阵的佩费尔曼之和，从而实现每一项的多项式时间评估。
• 实施一种截断方案，仅选择佩费尔曼级数的第一项，该部分捕获了对信念传播近似的主导修正。
• 利用与扩展图相关的反对称矩阵的佩费尔曼，高效计算修正项，利用凯斯特莱因（Kasteleyn）定理处理平面图。
• 通过引入辅助节点，将带有外场的原始二元成对模型映射到扩展图上的零场伊辛模型，从而在存在外场的情况下仍能进行佩费尔曼计算。

实验结果

研究问题

• RQ1 环路微积分框架能否在平面图上被高效截断，以获得准确的配分函数近似？
• RQ2 环路级数能否以佩费尔曼形式重述，以实现修正项的多项式时间计算？
• RQ3 佩费尔曼级数的第一项是否能在一般平面模型（含外场）中提供对真实配分函数的强近似？
• RQ4 所提方法在平面网格上的性能与现有信念传播截断方案及最先进推理方法相比如何？
• RQ5 鉴于此类模型的精确推理不可行，基于佩费尔曼的方法在处理外场模型方面的能力有多大？

主要发现

• 佩费尔曼级数的第一项能对配分函数提供高度精确的近似，通常仅用一项即可达到或超过完整环路级数截断的精度。
• 所提算法在定义于平面网格上的二元成对模型中，其近似精度和计算效率均优于以往的环路级数截断方案。
• 该方法在性能上与其它最先进的近似推理技术相当，尤其在信念传播本身表现不佳的区域更具优势。
• 基于佩费尔曼的重表述使得修正项的评估可在多项式时间内完成，使该方法可扩展至更大规模的平面图。
• 通过引入辅助节点将模型转换为等价的零场模型，该框架成功将环路微积分的应用范围扩展至含外场的一般平面模型。
• 实证结果表明，该方法在不同相互作用强度和图拓扑下均表现稳健，且在强环路存在时显著优于BP。