[论文解读] Max-Product Belief Propagation for Linear Programming: Applications to Combinatorial Optimization

Sejun Park, Jinwoo Shin|arXiv (Cornell University)|Dec 16, 2014

Bayesian Modeling and Causal Inference参考文献 25被引用 4

一句话总结

本文为求解组合优化问题的线性规划（LP）公式中的最大乘积信念传播（BP）建立了一个通用的收敛性和正确性准则。证明了在一组统一的充分条件下，BP能收敛到最优的LP解，该结果推广了先前的研究成果，使BP能够求解多种问题，包括最大权完美匹配、最短路径、旅行商问题、环 packing、顶点/边覆盖以及具有分数解的网络流问题。

ABSTRACT

The max-product {belief propagation} (BP) is a popular message-passing heuristic for approximating a maximum-a-posteriori (MAP) assignment in a joint distribution represented by a graphical model (GM). In the past years, it has been shown that BP can solve a few classes of linear programming (LP) formulations to combinatorial optimization problems including maximum weight matching, shortest path and network flow, i.e., BP can be used as a message-passing solver for certain combinatorial optimizations. However, those LPs and corresponding BP analysis are very sensitive to underlying problem setups, and it has been not clear what extent these results can be generalized to. In this paper, we obtain a generic criteria that BP converges to the optimal solution of given LP, and show that it is satisfied in LP formulations associated to many classical combinatorial optimization problems including maximum weight perfect matching, shortest path, traveling salesman, cycle packing, vertex/edge cover and network flow.

研究动机与目标

• 开发一个通用的、充分的条件，以确保最大乘积信念传播（BP）收敛到线性规划（LP）的最优解。
• 统一并推广先前针对特定组合问题（如匹配、最短路径和网络流）的BP收敛结果。
• 将BP的适用范围从整数解扩展到包含分数LP解的场景。
• 为构建满足所提收敛准则的BP算法提供设计指导。
• 克服先前BP分析中对问题特异性结构高度敏感的技术局限性。

提出的方法

• 提出一种基于LP紧致性及LP多面体结构特性的通用准则，以保证BP收敛。
• 利用BP的计算树结构，并通过分析交替路径来建立收敛行为。
• 应用多面体几何方法分析LP可行域的顶点及其在扰动下的稳定性。
• 对LP约束施加扰动论证，证明BP不动点收敛到多面体的顶点。
• 利用约束矩阵子矩阵的可逆性来刻画顶点解。
• 建立原始与扰动后LP可行集之间的距离界，以证明收敛性。

实验结果

研究问题

• RQ1 在何种一般条件下，最大乘积信念传播能收敛到线性规划的最优解？
• RQ2 能否通过单一统一框架，保证BP在多种组合优化问题中实现收敛与正确性？
• RQ3 如何设计BP以同时处理整数和分数LP解？
• RQ4 LP多面体的哪些结构特性可确保BP不动点唯一且最优？
• RQ5 能否通过通用的多面体方法克服先前针对特定问题的BP分析的技术局限性？

主要发现

• 所提出的准则可保证，只要LP公式满足条件，最大乘积BP无论初始值如何，均收敛到最优解。
• 该框架重新发现了先前已知的关于匹配、完美匹配、最短路径和网络流问题的全部收敛结果。
• 该方法可推广至新问题，如旅行商问题、环打包、顶点/边覆盖以及具有分数解的网络流问题。
• 分析证明，在所提条件下，BP不动点是唯一的，从而确保确定性收敛。
• 原始与扰动后LP可行集之间的距离以O(ε)为界，从而在ε→0时保证收敛。
• 该方法为通过验证所提准则，系统性地设计适用于新LP公式的BP算法提供了有效途径。