[论文解读] Maximum Weight Matching via Max-Product Belief Propagation

Mohsen Bayati, Devavrat Shah+1 more|arXiv (Cornell University)|Aug 23, 2005

Error Correcting Code Techniques参考文献 15被引用 79

一句话总结

本文证明了最大乘积信念传播算法在存在大量短环路的情况下，仍能可靠地在有限时间内计算出带权完全二分图中的最大权匹配（MWM），只要最大权匹配唯一，该算法即可收敛到正确解。算法的收敛性通过消息传递动态的组合分析得以证明，其计算复杂度为$O(n^3)$，与目前已知的最佳算法相当。

ABSTRACT

Max-product "belief propagation" is an iterative, local, message-passing algorithm for finding the maximum a posteriori (MAP) assignment of a discrete probability distribution specified by a graphical model. Despite the spectacular success of the algorithm in many application areas such as iterative decoding, computer vision and combinatorial optimization which involve graphs with many cycles, theoretical results about both correctness and convergence of the algorithm are known in few cases (Weiss-Freeman Wainwright, Yeddidia-Weiss-Freeman, Richardson-Urbanke}. In this paper we consider the problem of finding the Maximum Weight Matching (MWM) in a weighted complete bipartite graph. We define a probability distribution on the bipartite graph whose MAP assignment corresponds to the MWM. We use the max-product algorithm for finding the MAP of this distribution or equivalently, the MWM on the bipartite graph. Even though the underlying bipartite graph has many short cycles, we find that surprisingly, the max-product algorithm always converges to the correct MAP assignment as long as the MAP assignment is unique. We provide a bound on the number of iterations required by the algorithm and evaluate the computational cost of the algorithm. We find that for a graph of size $n$, the computational cost of the algorithm scales as $O(n^3)$, which is the same as the computational cost of the best known algorithm. Finally, we establish the precise relation between the max-product algorithm and the celebrated {\em auction} algorithm proposed by Bertsekas. This suggests possible connections between dual algorithm and max-product algorithm for discrete optimization problems.

研究动机与目标

• 建立最大乘积信念传播算法在二分图中求解最大权匹配（MWM）问题的理论收敛性与正确性。
• 分析在存在大量短环路的图中，最大乘积算法的性能，此类情况下收敛性通常无法保证。
• 证明当最大权匹配唯一时，即使存在环路依赖，最大乘积算法仍能收敛到正确的MWM解。
• 将最大乘积算法与拍卖算法关联，探索对偶方法与消息传递框架之间的联系。
• 评估计算成本，并简化算法以利于实际部署。

提出的方法

• 在完全二分图上定义一个图形模型，使得MAP分配对应于MWM。
• 应用最大乘积信念传播算法，通过节点间迭代传递消息来计算MAP分配。
• 基于二分图的结构和MWM的唯一性，使用组合论证证明收敛性。
• 简化消息传递规则以降低计算开销，表明每个节点在每次迭代中执行$O(n)$次操作。
• 建立简化后的最大乘积算法与最小和拍卖算法之间的等价性，特别是在$\nu = 0$时。
• 将分析扩展至$\nu$-松弛版本的算法，证明当$\n\delta > 0$时，解与最优MWM的差距在$n\delta$以内。

实验结果

研究问题

• RQ1 在存在大量环路的完全二分图中，最大乘积信念传播算法是否能收敛到正确的最大权匹配？
• RQ2 在何种条件下最大乘积算法能输出正确的MWM？即使存在短环路，是否也能保证收敛？
• RQ3 最大乘积算法求解MWM的计算复杂度是多少？与已知算法相比如何？
• RQ4 最大乘积算法与已知的基于对偶的优化方法（如拍卖算法）之间是否存在正式联系？
• RQ5 是否可以通过修改或松弛最大乘积算法，以确保有限时间内收敛且子最优性有界？

主要发现

• 当解唯一时，最大乘积算法即使在存在大量短环路的情况下，也能始终收敛到正确的最大权匹配。
• 该算法最坏情况下以$O(n^3)$次操作收敛，与目前已知的最佳MWM算法的时间复杂度一致。
• 最大乘积算法的简化版本将每次迭代的计算成本降低至每个节点$O(n)$，同时保持相同的渐近时间复杂度。
• 当松弛参数$\nu = 0$时，最大乘积算法在数学上等价于最小和拍卖算法。
• 对于任意$\delta > 0$，该算法的$\delta$-松弛版本产生的匹配与最优MWM的差距在$n\delta$以内。
• 仿真结果表明，该算法通常比最坏情况的$O(n^3)$界收敛得更快，提示可能存在更紧的实证界。