[論文レビュー] MAP Estimation, Message Passing, and Perfect Graphs

Tony Jebara|arXiv (Cornell University)|May 9, 2012

Bayesian Modeling and Causal Inference参考文献 23被引用数 22

ひとこと要約

この論文は、完全グラフにおける最大後確信度（MAP）推定が多項式時間で解け、正確にメッセージパッシングによって回復可能であることを確立している。強い完全グラフ定理と線形計画法の緩和を活用することで、LP緩和の整数性が正確な回復を保証することを示し、単一接続のものより広いクラスのグラフィカルモデルにおいて、効率的かつ最適な推論を可能にしている。

ABSTRACT

Efficiently finding the maximum a posteriori (MAP) configuration of a graphical model is an important problem which is often implemented using message passing algorithms. The optimality of such algorithms is only well established for singly-connected graphs and other limited settings. This article extends the set of graphs where MAP estimation is in P and where message passing recovers the exact solution to so-called perfect graphs. This result leverages recent progress in defining perfect graphs (the strong perfect graph theorem), linear programming relaxations of MAP estimation and recent convergent message passing schemes. The article converts graphical models into nand Markov random fields which are straightforward to relax into linear programs. Therein, integrality can be established in general by testing for graph perfection. This perfection test is performed efficiently using a polynomial time algorithm. Alternatively, known decomposition tools from perfect graph theory may be used to prove perfection for certain families of graphs. Thus, a general graph framework is provided for determining when MAP estimation in any graphical model is in P, has an integral linear programming relaxation and is exactly recoverable by message passing.

研究の動機と目的

• MAP推定が容易で、メッセージパッシングによって解ける広範なグラフィカルモデルのクラスを特定すること。
• 単一接続グラフに限らないMAP推定の既知の tractability（容易性）を、より大きなグラフ族へ拡張すること。
• 完全グラフ理論、線形計画法の緩和、正確なメッセージパッシングアルゴリズムを結びつける理論的枠組みを確立すること。
• 任意の与えられたグラフィカルモデルが多項式時間かつ正確なMAP推定を許容するかどうかを特定する一般手法を提供すること。

提案手法

• グラフィカルモデルをNANDおよびマルコフ確率場に変換し、線形計画法の緩和を可能にする。
• 強い完全グラフ定理を適用して、多項式時間アルゴリズムを用いてグラフの完全性をテストする。
• 完全グラフ理論からの既知の分解ツールを用いて、特定のグラフ族の完全性を証明する。
• グラフの完全性を確認することでLP緩和の整数性を保証し、正確なMAP解が得られることを保証する。
• 最近の収束性が保証されるメッセージパッシングスキームを活用し、LP緩和が整数解をとる場合に正確な解が回復されることを活用する。
• 任意の与えられたグラフィカルモデルが正確かつ多項式時間でMAP推定を許容するかどうかを決定する一般枠組みを構築する。

実験結果

リサーチクエスチョン

• RQ1 どのクラスのグラフィカルモデルにおいて、MAP推定が正確なメッセージパッシングを用いて多項式時間で解けるか？
• RQ2 単一接続のものより広いクラスのグラフにおいて、線形計画法緩和の整数性を保証できるか？
• RQ3 完全グラフ理論をどのように応用すれば、MAP推定のLP緩和が整数解をもたらすかを保証できるか？
• RQ4 グラフの完全性と、メッセージパッシングアルゴリズムが正確なMAP解に収束する関係は何か？
• RQ5 任意の与えられたグラフィカルモデルのMAP推定の tractability（容易性）を決定する統一された枠組みを構築できるか？

主な発見

• すべての完全グラフにおいてMAP推定はPに属し、単一接続グラフを超えて容易性が拡張される。
• MAP推定の線形計画法緩和の整数性は、かつてそのグラフが完全である場合に限り保証される。
• グラフが完全であるかどうかをテストする多項式時間アルゴリズムが存在し、容易性の効率的検証が可能になる。
• LP緩和が整数解をとる場合、メッセージパッシングアルゴリズムは正確なMAP解を回復する。これは完全グラフとちょうど一致する。
• この枠組みにより、グラフ論的性質を用いて、容易なグラフィカルモデルを体系的に特定できる。
• このアプローチは、線形計画法緩和、完全グラフ理論、収束性のあるメッセージパッシングを統合し、正確な推論を実現する。