[論文レビュー] Max-Product Belief Propagation for Linear Programming: Applications to Combinatorial Optimization

Sejun Park, Jinwoo Shin|arXiv (Cornell University)|Dec 16, 2014

Bayesian Modeling and Causal Inference参考文献 25被引用数 4

ひとこと要約

本稿は、組合せ最適化問題の線形計画法（LP）定式化を解くために最大積信念伝播（BP）に一般的な収束性および正しさの基準を確立する。本稿は、一様な十分条件のもとでBPが最適なLP解に収束することを証明し、先行研究の結果を一般化し、最大重み完全マッチング、最短経路、巡回セールスマン問題、サイクルパッキング、頂点／辺被覆、および分数解を伴うネットワークフローを含む多様な問題を解くBPの適用を可能にする。

ABSTRACT

The max-product {belief propagation} (BP) is a popular message-passing heuristic for approximating a maximum-a-posteriori (MAP) assignment in a joint distribution represented by a graphical model (GM). In the past years, it has been shown that BP can solve a few classes of linear programming (LP) formulations to combinatorial optimization problems including maximum weight matching, shortest path and network flow, i.e., BP can be used as a message-passing solver for certain combinatorial optimizations. However, those LPs and corresponding BP analysis are very sensitive to underlying problem setups, and it has been not clear what extent these results can be generalized to. In this paper, we obtain a generic criteria that BP converges to the optimal solution of given LP, and show that it is satisfied in LP formulations associated to many classical combinatorial optimization problems including maximum weight perfect matching, shortest path, traveling salesman, cycle packing, vertex/edge cover and network flow.

研究の動機と目的

• 最大積信念伝播（BP）が線形計画法（LP）の最適解に収束することを保証する一般的で十分な条件を確立すること。
• マッチング、最短経路、ネットワークフローなどの特定の組合せ問題における先行するBP収束結果を統一的かつ一般化すること。
• BPの適用範囲を整数解に限らず、分数LP解を含むように拡張すること。
• 提案された収束基準を満たすBPアルゴリズムを設計するための設計指針を提供すること。
• 問題固有の構造に極めて敏感であった先行のBP解析の技術的制限を克服すること。

提案手法

• LPのタイトネスおよびLPポリトープの構造的性質に基づく一般的な基準を導入し、BPの収束を保証する。
• BPの計算ツリー構造を用い、交互パスを分析することで収束行動を確立する。
• 多面体幾何学を用いてLPの実行可能領域の頂点とその摂動下での安定性を分析する。
• LP制約に摂動を加えることで、BPの固定点がポリトープの頂点に収束することを示す。
• 制約行列の部分行列の逆行列可能性を活用して頂点解を特徴付ける。
• 元のと摂動されたLP実行可能集合の間の距離に上限を設定し、収束を証明する。

実験結果

リサーチクエスチョン

• RQ1 最大積信念伝播が線形計画法の最適解に収束する一般的な条件は何か？
• RQ2 一つの統一的フレームワークを用いて、多様な組合せ最適化問題においてBPの収束性と正しさを保証できるか？
• RQ3 BPは整数解に加えて分数LP解をどのように処理できるか？
• RQ4 LPポリトープのどのような構造的性質が、BP固定点が一意的かつ最適であることを保証するか？
• RQ5 技術的制限が顕著な問題特有のBP解析を、一般化された多面体的アプローチによって克服できるか？

主な発見

• 提案された基準により、初期化に依存せず、条件を満たす任意のLP定式化に対して最大積BPが最適解に収束することが保証される。
• フレームワークは、マッチング、完全マッチング、最短経路、ネットワークフロー問題における既知のすべての先行収束結果を再発見する。
• 本手法は、巡回セールスマン問題、サイクルパッキング、頂点／辺被覆、および分数解を伴うネットワークフローといった新規問題へも拡張可能である。
• 解析により、提案された条件下でBP固定点が一意的であることが証明され、決定的収束が保証される。
• 元のと摂動されたLP実行可能集合の間の距離はO(ε)で有界であり、ε→0のとき収束が保証される。
• 本アプローチにより、提案基準の検証を通じて、新しいLP定式化に適したBPアルゴリズムを体系的に設計する方法が提供される。