[论文解读] A Graphical Transformation for Belief Propagation: Maximum Weight Matchings and Odd-Sized Cycles

Sungsoo Ahn, Michael Chertkov+3 more|arXiv (Cornell University)|Jun 5, 2013

Bayesian Modeling and Causal Inference参考文献 20被引用 6

一句话总结

本文提出了一种针对最大权匹配（MWM）问题中最大乘积信念传播（BP）的新型图变换方法，即使在添加环不等式以收紧线性规划（LP）松弛时，也能使BP收敛到正确的最大 a posteriori（MAP）解。其关键贡献在于将原始图模型转换为一种新公式，使得当变换后的LP松弛为紧致时，BP能收敛到最优MWM分配，从而在以往存在问题的条件下恢复BP的正确性。

ABSTRACT

We study the Maximum Weight Matching (MWM) problem for general graphs through the max-product Belief Propagation (BP) and related Linear Programming (LP). The BP approach provides distributed heuristics for finding the Maximum A Posteriori (MAP) assignment in a joint probability distribution represented by a Graphical Model (GM) and respective LPs can be considered as continuous relaxations of the discrete MAP problem. It was recently shown that a BP algorithm converges to the correct MWM assignment under a simple GM formulation of MAP/MWM as long as the corresponding LP relaxation is tight. First, under the motivation for forcing the tightness condition, we consider a new GM formulation of MWM, say C-GM, using non-intersecting odd-sized cycles in the graph: the new corresponding LP relaxation, say C-LP, becomes tight for more MWM instances. However, the tightness of C-LP now does not guarantee such convergence and correctness of the new BP on C-GM. To address the issue, we introduce a novel graph transformation applied to C-GM, which results in another GM formulation of MWM, and prove that the respective BP on it converges to the correct MAP/MWM assignment as long as C-LP is tight. Finally, we also show that C-LP always has half-integral solutions, which leads to an efficient BP-based MWM heuristic consisting of making sequential, `cutting plane', modifications to the underlying GM. Our experiments show that this BP-based cutting plane heuristic performs as well as that based on traditional LP solvers.

研究动机与目标

• 解决当在MWM的LP松弛中添加环不等式以收紧松弛时，最大乘积信念传播（BP）无法正确收敛的问题。
• 通过原始图的变换引入一种新的图模型公式，以恢复MWM中BP的收敛性与正确性。
• 确保在变换下MAP解保持不变，同时在新LP松弛为紧致时使BP能够收敛。
• 开发一种基于BP的MWM启发式算法，通过顺序切割平面修正，性能可与传统LP求解器相媲美。

提出的方法

• 通过向原始MWM问题中添加不相交的奇数大小环约束，收紧LP松弛（C-LP），提出一种新的图模型公式C-GM。
• 提出一种新颖的图变换方法，将奇数环压缩为新顶点，并重新定义边权重，从而得到变换后的图模型C-GM′。
• 证明当且仅当C-LP为紧致时，C-GM′上的BP收敛到正确的MAP/MWM分配，从而恢复收敛性保证。
• 使用计算树技术分析变换后模型上BP的收敛性与正确性。
• 设计一种基于BP的切割平面启发式算法，通过迭代添加奇数环约束，利用新变换保持BP收敛性。
• 证明C-LP始终存在半整数解，从而可实现LP松弛的高效顺序优化。

实验结果

研究问题

• RQ1 能否使最大乘积信念传播在添加环约束以收紧LP松弛的MWM实例上正确收敛？
• RQ2 何种图变换可在保持MAP解不变的同时，恢复LP紧致条件下的BP收敛性？
• RQ3 是否存在一种方法，可将BP用作分布式、迭代式求解器，其性能可与集中式LP求解器相媲美？
• RQ4 能否保证带有奇数环约束的MWM LP松弛始终存在半整数解，从而实现高效的迭代优化？
• RQ5 当LP松弛为紧致但标准BP在非树状图模型中失效时，如何恢复BP的收敛性？

主要发现

• 所提出的图变换确保：当且仅当C-LP松弛为紧致时，变换后模型C-GM′上的最大乘积信念传播收敛到正确的MWM分配。
• 原始C-GM与变换后C-GM′的MAP分配之间存在一一对应关系，保证了解的完整性。
• C-LP松弛始终存在半整数解，从而可设计高效的基于BP的切割平面启发式算法。
• 基于BP的启发式算法通过顺序添加奇数环约束，在实验中表现与传统LP求解器相当。
• 该变换使BP在标准BP因添加环约束而失效的同一问题实例上，仍能保持正确性与收敛性。
• 该方法为大规模MWM问题提供了一种分布式消息传递替代方案，相较于集中式LP求解器，具有在紧致条件下的可证明收敛性。