[论文解读] Loopy annealing belief propagation for vertex cover and matching: convergence, LP relaxation, correctness and Bethe approximation

Marc Lelarge|arXiv (Cornell University)|Jan 30, 2014

Error Correcting Code Techniques参考文献 30被引用 3

一句话总结

该论文提出了一种新型的消息传递算法——环状退火信念传播（Loopy Annealing Belief Propagation, LABP），通过结合信念传播与退火机制，求解一般图上的最小点覆盖和最大匹配问题。通过迭代调整温度参数 $ z $，LABP 实现收敛，并渐近地计算出最小半整数点覆盖（提供 2-近似解）和最大分数匹配；对于二分图，其可达到最小点覆盖和匹配数的精确解。

ABSTRACT

For the minimum cardinality vertex cover and maximum cardinality matching problems, the max-product form of belief propagation (BP) is known to perform poorly on general graphs. In this paper, we present an iterative loopy annealing BP (LABP) algorithm which is shown to converge and to solve a Linear Programming relaxation of the vertex cover or matching problem on general graphs. LABP finds (asymptotically) a minimum half-integral vertex cover (hence provides a 2-approximation) and a maximum fractional matching on any graph. We also show that LABP finds (asymptotically) a minimum size vertex cover for any bipartite graph and as a consequence compute the matching number of the graph. Our proof relies on some subtle monotonicity arguments for the local iteration. We also show that the Bethe free entropy is concave and that LABP maximizes it. Using loop calculus, we also give an exact (also intractable for general graphs) expression of the partition function for matching in term of the LABP messages which can be used to improve mean-field approximations.

研究动机与目标

• 解决标准最大乘积信念传播在一般图上求解点覆盖与匹配问题时收敛性差、正确性不足的问题。
• 通过引入退火机制，克服以往基于信念传播方法对唯一最优解的严格要求。
• 设计一种可证明收敛的算法，用于计算点覆盖与匹配问题的线性规划松弛解。
• 在任意图和二分图上，建立 LABP 在零温度极限（$ z \to \infty $）下的理论保证。
• 通过环路微积分，将算法性能与贝特定律近似及配分函数联系起来，从而实现更优的平均场近似。

提出的方法

• 引入一个退火参数 $ z > 0 $，将原始的组合优化问题转化为一个软性、与温度相关的推理问题。
• 在退火后的图模型上应用最大乘积信念传播，通过基于贝特定律的局部更新规则迭代更新消息。
• 利用消息更新中的单调性论证，证明算法对所有有限 $ z $ 均收敛，借助相关性衰减特性实现。
• 利用环路微积分推导出配分函数的精确表达式，将其与 LABP 消息关联，从而实现对平均场近似的改进。
• 分析贝特定律自由熵，证明其为凹函数，且 LABP 在 $ z \to \infty $ 时渐近最大化该自由熵。
• 通过线性规划松弛的对偶关系，建立分数匹配与半整数点覆盖之间的对偶性，使算法能够同时计算两种解。

实验结果

研究问题

• RQ1 信念传播能否在一般图上实现收敛并输出正确解，以解决标准最大乘积 BP 失败的点覆盖与匹配问题？
• RQ2 通过温度参数 $ z $ 对目标函数进行退火，是否能实现收敛并为这些 NP-难问题提供改进的近似保证？
• RQ3 在 $ z \to \infty $ 极限下，该算法能否在二分图上实现最小点覆盖与最大匹配的精确解？
• RQ4 在该退火框架下，贝特定律近似、配分函数与消息传递收敛性之间存在何种关系？
• RQ5 环路微积分框架如何在此设定下导出配分函数的精确表达式，并实现对平均场近似的改进？

主要发现

• LABP 对所有有限 $ z $ 均收敛，其收敛性依赖于退火模型中的相关性衰减，即使在一般图上也成立。
• 在 $ z \to \infty $ 的极限下，LABP 计算出最小半整数点覆盖，为最小点覆盖问题提供 2-近似解。
• 对于二分图，LABP 能够精确计算最小点覆盖和匹配数，达到最优性能。
• LABP 渐近地计算出任意图上的最大分数匹配，从而求解匹配问题的线性规划松弛。
• 贝特定律自由熵为凹函数，且 LABP 在 $ z \to \infty $ 时最大化该自由熵，建立了统计力学与组合优化之间的联系。
• 通过环路微积分，推导出匹配问题配分函数的精确表达式，其以 LABP 消息为变量，从而实现对平均场近似的改进。