[论文解读] An Embarrassingly Simple Speed-Up of Belief Propagation with Robust Potentials

James M. Coughlan, Huiying Shen|arXiv (Cornell University)|Sep 30, 2010

Blind Source Separation Techniques参考文献 24被引用 4

一句话总结

本文提出了一种精确且计算高效的加速方法，用于在具有鲁棒势函数的成对马尔可夫随机场（MRFs）中加速信念传播（BP），通过利用截断成对势函数实现。通过仅将计算限制在每个节点的 m 个兼容状态而非全部 M 个状态，该方法将复杂度从 O(M²) 降低至 O(mM)，在不改变解的前提下实现了显著的速度提升，并适用于和积（sum-product）与最大积（max-product）BP。

ABSTRACT

We present an exact method of greatly speeding up belief propagation (BP) for a wide variety of potential functions in pairwise MRFs and other graphical models. Specifically, our technique applies whenever the pairwise potentials have been {\em truncated} to a constant value for most pairs of states, as is commonly done in MRF models with robust potentials (such as stereo) that impose an upper bound on the penalty assigned to discontinuities; for each of the $M$ possible states in one node, only a smaller number $m$ of compatible states in a neighboring node are assigned milder penalties. The computational complexity of our method is $O(mM)$, compared with $O(M^2)$ for standard BP, and we emphasize that the method is {\em exact}, in contrast with related techniques such as pruning; moreover, the method is very simple and easy to implement. Unlike some previous work on speeding up BP, our method applies both to sum-product and max-product BP, which makes it useful in any applications where marginal probabilities are required, such as maximum likelihood estimation. We demonstrate the technique on a stereo MRF example, confirming that the technique speeds up BP without altering the solution.

研究动机与目标

• 为解决在立体视觉应用中，具有鲁棒势函数的MRF中信念传播的高计算成本问题。
• 开发一种在不近似或改变解的前提下加速BP的方法，确保精确推理。
• 实现和积与最大积BP在后验概率估计和最大似然推理中的高效应用。
• 提供一种简单实用的技术，易于在现实世界的图模型中实现。

提出的方法

• 该方法利用截断成对势函数，其中相邻节点中仅 m 个状态接收非恒定惩罚，其余所有状态的惩罚值均被截断为常数值。
• 通过仅计算 m 个兼容状态的消息，将消息传递的计算复杂度从 O(M²) 降低至 O(mM)。
• 该方法是精确的，因为它保留了所有相关势函数值，且不依赖于剪枝或近似启发式方法。
• 该技术可统一应用于和积与最大积BP，适用于广泛的推理任务。
• 该算法保持完整的图模型结构，但仅将消息计算限制在 m 个相关状态对上。

实验结果

研究问题

• RQ1 能否在不牺牲解准确性的前提下，加速具有鲁棒势函数的MRF中的信念传播？
• RQ2 是否存在一种简单且精确的方法，将仅 m 个状态非平凡惩罚时BP的 O(M²) 复杂度降低至 O(mM)？
• RQ3 所提出的方法是否在和积与最大积推理中均保持正确性？
• RQ4 该方法能否以极低的代码复杂度和对现有BP框架的最小修改实现？

主要发现

• 所提方法将计算复杂度从 O(M²) 降低至 O(mM)，当 m ≪ M 时可实现显著的速度提升。
• 该方法是精确的，不会改变最终解，与基于剪枝或近似的技巧不同。
• 该技术适用于和积与最大积信念传播，可应用于后验概率估计和最大似然推理。
• 在立体MRF示例上的实证验证表明，该方法在不改变解的前提下显著加速了BP。