[論文レビュー] Loopy annealing belief propagation for vertex cover and matching: convergence, LP relaxation, correctness and Bethe approximation

Marc Lelarge|arXiv (Cornell University)|Jan 30, 2014

Error Correcting Code Techniques参考文献 30被引用数 3

ひとこと要約

本稿では、一般のグラフ上で最小点被覆および最大マッチング問題を解くために、信念伝搬と焼きなまし法を組み合わせた新規メッセージスケジューリング手法であるループ付き焼きなまし信念伝搬（LABP）を提案する。温度パラメータ $ z $ を反復的に調整することで、LABPは収束し、漸近的に最小半整数点被覆（2-近似解を提供）および最大分数マッチングを計算する。二部グラフでは、正確な最小点被覆およびマッチング数を達成する。

ABSTRACT

For the minimum cardinality vertex cover and maximum cardinality matching problems, the max-product form of belief propagation (BP) is known to perform poorly on general graphs. In this paper, we present an iterative loopy annealing BP (LABP) algorithm which is shown to converge and to solve a Linear Programming relaxation of the vertex cover or matching problem on general graphs. LABP finds (asymptotically) a minimum half-integral vertex cover (hence provides a 2-approximation) and a maximum fractional matching on any graph. We also show that LABP finds (asymptotically) a minimum size vertex cover for any bipartite graph and as a consequence compute the matching number of the graph. Our proof relies on some subtle monotonicity arguments for the local iteration. We also show that the Bethe free entropy is concave and that LABP maximizes it. Using loop calculus, we also give an exact (also intractable for general graphs) expression of the partition function for matching in term of the LABP messages which can be used to improve mean-field approximations.

研究の動機と目的

• 一般のグラフ上で標準のmax-product信念伝搬が収束不良および正しくない結果を示す点被覆およびマッチング問題に対処する。
• 従来のBPに基づく手法が一意な最適解を必要としているという制限を、焼きなまし法の導入によって克服する。
• 点被覆およびマッチング問題の線形計画法緩和問題に対する解を計算できる、理論的に収束が保証されたアルゴリズムを開発する。
• 任意のグラフおよび二部グラフ上で、$ z \to \infty $ の極限におけるLABPの挙動に理論的保証を設ける。
• ループ微積分を用いて、統計力学的アプローチと組合せ最適化の間の関係を明確にし、より良い平均場近似を可能にする。

提案手法

• 正の温度パラメータ $ z > 0 $ を導入し、元の組合せ最適化問題をソフトな、温度依存の推論問題に変換する。
• Bethe近似に基づく局所更新ルールを用いて、焼きなましグラフィカルモデルにmax-product信念伝搬を適用する。
• メッセージ更新における単調性の議論を用いて、すべての有限な $ z $ に対してアルゴリズムの収束を証明し、相関減衰の性質を活用する。
• ループ微積分を用いて、分割関数の正確な表現を導出し、LABPメッセージと関連づけることで、平均場近似の改善を可能にする。
• Bethe自由エネルギーを解析し、それが凹関数であることを示し、$ z \to \infty $ の極限でLABPがそれを最大化することを示す。
• 線形計画法緩和問題の双対性を用いて、分数マッチングと半整数点被覆の間に双対性を確立し、両方の解を同時に計算可能にする。

実験結果

リサーチクエスチョン

• RQ1 標準のmax-product信念伝搬が一般のグラフ上で失敗する点被覆およびマッチング問題に対して、信念伝搬を収束させ、正しい解を出力できるようにできるか？
• RQ2 温度パラメータ $ z $ を用いた目的関数の焼きなまし法により、これらのNP困難問題に対して収束性と改善された近似保証が得られるか？
• RQ3 $ z \to \infty $ の極限で、アルゴリズムは二部グラフ上で最小点被覆および最大マッチングの正確な解を達成できるか？
• RQ4 Bethe近似、分割関数、およびこの焼きなましフレームワークにおけるメッセージスケジューリングの収束性との関係は何か？
• RQ5 ループ微積分フレームワークは、この設定において分割関数の正確な表現を可能にし、平均場近似を改善する仕組みをどのように提供するか？

主な発見

• LABPは、焼きなましモデルにおける相関減衰を活用することで、すべての有限な $ z $ に対して収束する。これは一般のグラフに対しても成立する。
• $ z \to \infty $ の極限で、LABPは最小半整数点被覆を計算し、最小点被覆問題に対する2-近似解を提供する。
• 二部グラフでは、LABPは正確な最小点被覆およびマッチング数を計算し、最適性能を達成する。
• LABPは任意のグラフ上で、漸近的に最大分数マッチングを計算し、マッチング問題の線形計画法緩和問題を解く。
• Bethe自由エネルギーは凹関数であり、LABPはそれを漸近的に最大化する。これにより、統計力学と組合せ最適化の間の関係が明確にされる。
• ループ微積分を用いて、マッチング問題の分割関数の正確な表現をLABPメッセージの言いかえで導出し、平均場近似の改善を可能にする。