[論文レビュー] Max-Product Belief Propagation for Linear Programming: Convergence and Correctness.

Sejun Park, Jinwoo Shin|arXiv (Cornell University)|Dec 16, 2014

Error Correcting Code Techniques参考文献 17被引用数 1

ひとこと要約

本稿は、組合せ最適化問題の線形計画法（LP）定式化に対して、最大積信念伝播（BP）の一般化された収束基準を確立する。本稿は、最大重み完全マッチング、最短経路、TSP、ネットワークフローを含む広範な問題クラスについて、BPが正確な最適解に収束することを証明し、BPが正確な最適性に到達する十分条件を同定することで実現する。

ABSTRACT

The max-product {belief propagation} (BP) is a popular message-passing heuristic for approximating a maximum-a-posteriori (MAP) assignment in a joint distribution represented by a graphical model (GM). In the past years, it has been shown that BP can solve a few classes of linear programming (LP) formulations to combinatorial optimization problems including maximum weight matching, shortest path and network flow, i.e., BP can be used as a message-passing solver for certain combinatorial optimizations. However, those LPs and corresponding BP analysis are very sensitive to underlying problem setups, and it has been not clear what extent these results can be generalized to. In this paper, we obtain a generic criteria that BP converges to the optimal solution of given LP, and show that it is satisfied in LP formulations associated to many classical combinatorial optimization problems including maximum weight perfect matching, shortest path, traveling salesman, cycle packing, vertex/edge cover and network flow.

研究の動機と目的

• 線形計画法の最適解に最大積信念伝播が収束する一般的な条件を特定すること。
• LP定式化を介して、古典的な組合せ最適化問題にBPを信頼性高く適用できる範囲を特定すること。
• 従来のBP収束に関する結果（特定の問題クラスに限られていた）を統一的な理論枠組みに一般化すること。
• 提案された基準が満たされた場合、BPがヒューリスティックではなく、広範な最適化問題に対して正当に正しい結果を返すことを確立すること。

提案手法

• 基礎となるLPとその双対定式化の構造に基づいて、最大積BPのための新しい収束基準を提案する。
• 特に双対妥当性と相補性スラック性に注目し、線形計画法の最適性条件の観点からBPのメッセージパッシングダイナミクスを分析する。
• 収束を最適解に到達させるために、双対ギャップとメッセージパッシングフレームワーク内での部分勾配に類似した更新を用いて特徴づける。
• 基準が満たされた場合、BPの不動点がLPの最適解に正確に対応することを示す。
• その基準を、LP定式化を分析し、条件が成立することを確認することで、複数の標準的組合せ問題に適用する。
• グラフ理論的および双対性に基づく議論を用いて、マッチング、最短経路、ネットワークフローなどの問題でその基準が満たされることを示す。

実験結果

リサーチクエスチョン

• RQ1 最大積信念伝播が線形計画法の最適解に収束する一般的な条件は何か？
• RQ2 特定のケースに限らず、多様な組合せ最適化問題にわたり、BPの最適解への収束を保証できるか？
• RQ3 特定のLP定式化でBPが機能する理由を説明する統一的な理論的枠組みは存在するか？
• RQ4 最大重み完全マッチングや巡回セールスマン問題といった古典的問題は、提案された収束基準を満たすか？

主な発見

• 本稿は、線形計画法の最適解に最大積信念伝播が収束する十分条件を確立する。
• 提案された収束基準は、最大重み完全マッチング、最短経路、ネットワークフロー問題のLP定式化で満たされる。
• 本手法により、条件が満たされた場合に、BPが巡回セールスマン問題およびサイクルパッキング問題において正確な最適性に到達することを証明する。
• この枠組みは、頂点被覆およびエッジ被覆問題へも拡張可能であり、同じ条件下でそれらのLP緩和問題を正確に解くことができることを示す。
• 解析により、収束が問題構造に対して頑健であり、特定のグラフトポロジーや制約に限定されないことが明らかになった。
• 結果として、従来の特定問題におけるBPの個別的・特例的な解析を統一的かつ一般化された理論的結果に統合した。