[论文解读] Max-Product Belief Propagation for Linear Programming: Convergence and Correctness.

Sejun Park, Jinwoo Shin|arXiv (Cornell University)|Dec 16, 2014

Error Correcting Code Techniques参考文献 17被引用 1

一句话总结

本文为求解组合优化问题的线性规划（LP）公式化问题，建立了最大乘积信念传播（BP）的一般收敛准则。通过识别一个充分条件，证明了BP在包括最大权完美匹配、最短路径、旅行商问题（TSP）和网络流在内的广泛问题类别中收敛到最优解，从而实现精确最优性。

ABSTRACT

The max-product {belief propagation} (BP) is a popular message-passing heuristic for approximating a maximum-a-posteriori (MAP) assignment in a joint distribution represented by a graphical model (GM). In the past years, it has been shown that BP can solve a few classes of linear programming (LP) formulations to combinatorial optimization problems including maximum weight matching, shortest path and network flow, i.e., BP can be used as a message-passing solver for certain combinatorial optimizations. However, those LPs and corresponding BP analysis are very sensitive to underlying problem setups, and it has been not clear what extent these results can be generalized to. In this paper, we obtain a generic criteria that BP converges to the optimal solution of given LP, and show that it is satisfied in LP formulations associated to many classical combinatorial optimization problems including maximum weight perfect matching, shortest path, traveling salesman, cycle packing, vertex/edge cover and network flow.

研究动机与目标

• 识别最大乘积信念传播在何种通用条件下收敛到线性规划的最优解。
• 确定BP通过LP公式化在经典组合优化问题中可被可靠应用的范围。
• 将先前仅限于特定问题类别的BP收敛结果，推广为统一的理论框架。
• 证明当满足所提准则时，BP不仅是一种启发式方法，而是对广泛优化问题具有可证明正确性的方法。

提出的方法

• 基于底层LP及其对偶公式的结构，提出一种新颖的最大乘积BP收敛准则。
• 从线性规划的最优性条件角度分析BP的消息传递动态，特别关注对偶可行性和互补松弛条件。
• 利用对偶间隙和类似次梯度的更新机制，在消息传递框架中刻画收敛到最优解的过程。
• 证明当该准则满足时，BP的不动点恰好对应于LP的最优解。
• 通过分析其LP公式的结构，将该准则应用于多个标准组合问题，并验证条件成立。
• 采用图论和对偶性论证，证明在匹配、最短路径和网络流等问题中，该准则均被满足。

实验结果

研究问题

• RQ1 在何种一般条件下，最大乘积信念传播收敛到线性规划的最优解？
• RQ2 是否可以保证BP在超越特定案例的多样化组合优化问题中收敛到最优解？
• RQ3 是否存在一个统一的理论框架，能够解释为何BP对某些LP公式化有效而对其他则无效？
• RQ4 经典问题如最大权完美匹配和旅行商问题是否满足所提出的收敛准则？

主要发现

• 本文建立了最大乘积信念传播收敛到线性规划最优解的充分条件。
• 所提出的收敛准则在最大权完美匹配、最短路径和网络流问题的LP公式化中均被满足。
• 该方法证明了当准则成立时，BP对旅行商问题和环打包问题可实现精确最优性。
• 该框架可扩展至顶点覆盖和边覆盖问题，表明在相同条件下BP可精确求解其LP松弛。
• 分析表明，收敛性对问题结构具有鲁棒性，不局限于特定图拓扑或约束。
• 结果将以往针对特定问题的BP分析统一为一个通用的理论结果。