[論文レビュー] Max Product for Max-Weight Independent Set and Matching

Devavrat Shah|arXiv (Cornell University)|Aug 23, 2005

Error Correcting Code Techniques参考文献 31被引用数 6

ひとこと要約

本稿は、スパースなランダムグラフ G(n, c/n) および Gr(n) における最大重み独立集合（MWIS）および最大重みマッチング（MWM）を解くための最大積（MP）アルゴリズムを分析する。エッジまたはノードの重みが指数分布に従う場合、MPは広いパラメータ範囲において高確率で収束し、最適解を達成する。n が十分に大きいとき、MP は確率 1−ǫ で 1+ǫ 競合性を達成する。

ABSTRACT

The Max Product (MP) is a local, iterative, message passing style algorithm that has been developed for finding the maximum a posteriori (MAP) assignment of discrete probability distribution specified by a graphical model. The scope of application of MP is vast and in particular it can serve as a heuristic to solve any combinatorial optimization problem. Despite the success of MP algorithm in the context of coding and vision, not much has been theoretically understood about the correctness and convergence of MP. The Maximum Weight Independent Set (MWIS) and Maximum Weight Matching (MWM) are classically well studied combinatorial optimization problems. A lot of work has been done to design efficient algorithms for finding MWIS and MWM. In this paper, we study application of MP algorithm for MWIS and MWM for sparse random graphs: G(n, c/n) and Gr(n), which are n node random graphs with parameter c and r respectively. We show that when weights (node or edge depending on MWIS or MWM) are assigned independently according to exponential distribution, the MP algorithm converges and finds correct solution for a large range of parametric value c and r. In particular, we show that for any ǫ> 0, for large enough n, the MP becomes 1 + ǫ competitive with probability at least 1 − ǫ. Our results build upon the results of Gamarnik, Nowicki and Swirscsz (2005), which established local optimality property of MWIS and MWM for sparse random graphs. 1

研究の動機と目的

• スパースなランダムグラフにおける組合せ最適化問題を解くための最大積（MP）アルゴリズムの収束性と正しさを分析すること。
• ランダムグラフモデルにおいて、MP が最大重み独立集合（MWIS）および最大重みマッチング（MWM）の最適解を信頼性高く見つけられるかを調査すること。
• 指数分布に従う重み分布のもとで、MP の性能に関する競合性と収束確率の理論的保証を確立すること。
• スパースなランダムグラフにおける MWIS および MWM の局所最適性に関する先行結果を、MP アルゴリズムの挙動にまで拡張すること。

提案手法

• ノードまたはエッジに重みを割り当てるスパースなランダムグラフ G(n, c/n) および Gr(n) に、メッセージパッシングヒューリスティクスである最大積（MP）アルゴリズムを適用する。
• ノード（MWIS の場合）またはエッジ（MWM の場合）に重みを、指数分布から独立に割り当てる。
• Gamarnik 他（2005）が得た、スパースなランダムグラフにおける MWIS および MWM の局所最適性に関する理論的結果を基盤として用いる。
• グラフ内の MP メッセージの収束を分析し、指数分布に従う重みのもとで、アルゴリズムが一貫した割り当てに安定することを示す。
• 確率的解析を用いて、十分に大きな n に対して、MP が確率 1−ǫ で収束し、最適値の 1+ǫ 範囲内に解を達成することを証明する。
• MP の解が、大きな n および広い範囲のパrameter c および r に対して、高確率でグローバル最適であることを確立する。

実験結果

リサーチクエスチョン

• RQ1 スパースなランダムグラフにおける MWIS および MWM の最大積（MP）アルゴリズムが、どのような条件下で最適解に収束するか。
• RQ2 G(n, c/n) および Gr(n) モデルにおいて、MP の性能はグラフサイズおよびパrameter c や r とどのようにスケーリングするか。
• RQ3 重みが指数分布に従う場合、MP は高確率で近似的に最適な解（1+ǫ 競合性）を達成できるか。
• RQ4 スパースなランダムグラフにおける MWIS/MWM の局所最適性特性と、MP の収束挙動との関係は何か。
• RQ5 重みが指数分布に従うランダムグラフに MP アルゴリズムを適用した場合、正しさと収束性を維持できるか。

主な発見

• 任意の ǫ > 0 に対して、十分に大きな n に対して、MP アルゴリズムは確率 1−ǫ で収束し、最適解に対して 1+ǫ 競合性を達成する解を出力する。
• ノードまたはエッジの重みが指数分布から独立に抽出される場合、MP アルゴリズムは MWIS および MWM の正しい最適解に収束する。
• MP の収束性と正しさは、スパースなランダムグラフモデル G(n, c/n) および Gr(n) における広い範囲のパrameter c および r に対して確立されている。
• 理論的基盤は、スパースなランダムグラフにおける MWIS および MWM の局所最適性を示す先行結果に依拠しており、MP はこれを的確に活用している。
• MP は高確率での正しさと収束性を達成しており、指数分布の重み仮定のもとで、大規模なランダムグラフにおいて堅牢であることが示された。
• 結果から、MP は単なるヒューリスティクスではなく、指定されたランダムグラフ集合において、MWIS および MWM に対して理論的にも有効であることが明らかになった。