[論文レビュー] Maximum Weight Matching via Max-Product Belief Propagation

Mohsen Bayati, Devavrat Shah+1 more|arXiv (Cornell University)|Aug 23, 2005

Error Correcting Code Techniques参考文献 15被引用数 79

ひとこと要約

この論文は、最大積信念伝播アルゴリズムが重み付き完全二部グラフにおける最大重みマッチング（MWM）を、解が一意である限り有限時間内で正しく計算することを示している。短いサイクルが多数存在する状況でも、収束が保証される。収束の証明はメッセージ渡しダイナミクスの組み合わせ的解析に基づくもので、計算量は$O(n^3)$であり、既知の最良のアルゴリズムと同等である。

ABSTRACT

Max-product "belief propagation" is an iterative, local, message-passing algorithm for finding the maximum a posteriori (MAP) assignment of a discrete probability distribution specified by a graphical model. Despite the spectacular success of the algorithm in many application areas such as iterative decoding, computer vision and combinatorial optimization which involve graphs with many cycles, theoretical results about both correctness and convergence of the algorithm are known in few cases (Weiss-Freeman Wainwright, Yeddidia-Weiss-Freeman, Richardson-Urbanke}. In this paper we consider the problem of finding the Maximum Weight Matching (MWM) in a weighted complete bipartite graph. We define a probability distribution on the bipartite graph whose MAP assignment corresponds to the MWM. We use the max-product algorithm for finding the MAP of this distribution or equivalently, the MWM on the bipartite graph. Even though the underlying bipartite graph has many short cycles, we find that surprisingly, the max-product algorithm always converges to the correct MAP assignment as long as the MAP assignment is unique. We provide a bound on the number of iterations required by the algorithm and evaluate the computational cost of the algorithm. We find that for a graph of size $n$, the computational cost of the algorithm scales as $O(n^3)$, which is the same as the computational cost of the best known algorithm. Finally, we establish the precise relation between the max-product algorithm and the celebrated {\em auction} algorithm proposed by Bertsekas. This suggests possible connections between dual algorithm and max-product algorithm for discrete optimization problems.

研究の動機と目的

• 二部グラフにおける最大重みマッチング（MWM）問題に対する最大積信念伝播アルゴリズムの理論的収束性と正しさを確立すること。
• 収束が一般には保証されない多くの短いサイクルを有するグラフにおける最大積信念伝播の性能を分析すること。
• 解が一意である場合、循環的依存関係が存在しても最大積信念伝播が正しいMWM解に収束することを示すこと。
• 最大積信念伝播アルゴリズムとオークションアルゴリズムとの関係を明らかにし、双対手法とメッセージ渡しフレームワークとの関連を探索すること。
• 計算コストを評価し、実用的導入を可能にするためにアルゴリズムを簡素化すること。

提案手法

• 最大事後確率（MAP）割り当てがMWMに対応する完全二部グラフ上にグラフィカルモデルを定義する。
• ノード間の反復的メッセージ渡しによりMAP割り当てを計算するため、最大積信念伝播アルゴリズムを適用する。
• 二部グラフの構造とMWMの一意性に基づく組み合わせ的議論を用いて収束を証明する。
• 計算オーバーヘッドを低減するため、メッセージ渡しルールを簡素化し、各ノードが1イテレーションあたり$O(n)$の計算量で処理できることを示す。
• 簡素化された最大積信念伝播アルゴリズムと最小和オークションアルゴリズムとの等価性を確立する。特に、$\nu = 0$の場合に有効である。
• アルゴリズムの$\nu$-緩和版への拡張を行い、$\delta > 0$のとき解が最適MWMから$n\delta$以内に収束することを示す。

実験結果

リサーチクエスチョン

• RQ1 多くのサイクルを有する完全二部グラフにおいて、最大積信念伝播アルゴリズムは正しい最大重みマッチングに収束するか？
• RQ2 最大積信念伝播が正しいMWMを出力する条件は何か？また、短いサイクルが存在する状況でも収束を保証できるか？
• RQ3 最大積信念伝播アルゴリズムのMWMに対する計算量は何か？既知のアルゴリズムと比較するとどうか？
• RQ4 最大積信念伝播アルゴリズムと、オークションアルゴリズムのような確立された双対ベース最適化手法との正式な関連性はあるか？
• RQ5 最大積信念伝播アルゴリズムを変更または緩和することで、有限時間内に有界なサブ最適性を保証する収束を達成できるか？

主な発見

• 解が一意である限り、多くの短いサイクルが存在しても最大積信念伝播アルゴリズムは常に正しい最大重みマッチングに収束する。
• 最悪計算量において$O(n^3)$の操作で収束し、最良の既知のMWMアルゴリズムと同等の時間計算量を達成する。
• 最大積信念伝播アルゴリズムの簡素化版により、1イテレーションあたりのノードごとの計算コストを$O(n)$に低減でき、同じ漸近的計算量を維持する。
• 緩和パrameter $\nu = 0$ のとき、最大積信念伝播アルゴリズムは数学的に最小和オークションアルゴリズムと等価である。
• 任意の$\delta > 0$に対して、$\delta$-緩和版のアルゴリズムは最適MWMから$n\delta$以内のマッチングを生成する。
• シミュレーションの結果、最悪ケースの$O(n^3)$の境界よりも速く収束することが多く、よりタイトな経験的境界が得られる可能性がある。