[論文レビュー] MAP Estimation, Linear Programming and Belief Propagation with Convex Free Energies

Yair Weiss, Chen Yanover+1 more|arXiv (Cornell University)|Jun 20, 2012

Bayesian Modeling and Causal Inference参考文献 19被引用数 12

ひとこと要約

本稿では、凸自由エネルギー近似を用いたMAP推定のための統一的枠組みである凸ベイズ的信念伝搬（CBP）を提案する。ノータイ条件のもとで、凸最大積和BPの固定点が正確なMAP解を与えることを証明し、低温における凸和積和BPがMAP緩和線形計画問題を解くことができることを示した。この手法により、単一サイクルやツリー再重み付けモデルにとどまらず、より広いクラスのグラフに対しても理論的最適性が拡張される。

ABSTRACT

Finding the most probable assignment (MAP) in a general graphical model is known to be NP hard but good approximations have been attained with max-product belief propagation (BP) and its variants. In particular, it is known that using BP on a single-cycle graph or tree reweighted BP on an arbitrary graph will give the MAP solution if the beliefs have no ties. In this paper we extend the setting under which BP can be used to provably extract the MAP. We define Convex BP as BP algorithms based on a convex free energy approximation and show that this class includes ordinary BP with single-cycle, tree reweighted BP and many other BP variants. We show that when there are no ties, fixed-points of convex max-product BP will provably give the MAP solution. We also show that convex sum-product BP at sufficiently small temperatures can be used to solve linear programs that arise from relaxing the MAP problem. Finally, we derive a novel condition that allows us to derive the MAP solution even if some of the convex BP beliefs have ties. In experiments, we show that our theorems allow us to find the MAP in many real-world instances of graphical models where exact inference using junction-tree is impossible.

研究の動機と目的

• 単一サイクルやツリー再重み付けBPにとどまらない、より広いクラスのモデルに対して、信念伝搬（BP）の理論的保証をMAP推定に拡張すること。
• 凸自由エネルギー近似に基づく共通の枠組みにおいて、さまざまなBPの変種を統一すること。
• 凸最大積和BPが、一部の信念のタイ（同一値）が存在する場合でも、MAP割り当てを理論的に回復できる条件を確立すること。
• 低温における凸和積和BPとMAP問題の線形計画緩和との関連を示すこと。
• junctioin-tree手法が高木幅のため計算的に不可能となる現実世界のグラフィカルモデルにおいて、正確なMAP推論を可能にすること。

提案手法

• 自由エネルギー関数の凸近似に基づく信念伝搬アルゴリズムとして、凸BPを定義する。
• 単一サイクルグラフ上の標準BPとツリー再重み付けBPが、凸BPの特別な場合であることを示す。
• 凸最大積和BPの信念にタイがない場合、固定点がMAP割り当てに対応することを証明する。
• 十分に低温における凸和積和BPが、MAP問題の線形計画緩和を解くことができることを実証する。
• 信念の一貫性と凸性に基づく新しい条件を導入し、一部の信念にタイがある場合でもMAP解を回復可能にする。
• 自由エネルギーの凸性を用いて、最適化プロセスの収束性と安定性を保証する。

実験結果

リサーチクエスチョン

• RQ1 単一サイクルやツリー再重み付け構造を越えて、より広いクラスのグラフィカルモデルにおいて、信念伝搬がMAP解を保証的に見つけられるか。
• RQ2 凸最大積和BPが、どのような条件下で正確なMAP解に収束するか。
• RQ3 低温における凸和積和BPを用いて、MAP問題の線形計画緩和を解くことができるか。
• RQ4 一部の信念にタイがある場合でも、MAP解を回復できる条件は存在するか。
• RQ5 提案された枠組みにより、junctioin-tree推論が計算的に不可能な現実世界のモデルにおいて、正確なMAP推論が可能になるか。

主な発見

• 凸最大積和BPは、すべての信念が一意（タイなし）である場合に、MAP解を理論的に回復可能であり、単一サイクルやツリー再重み付けBPにとどまらない理論的最適性の適用範囲を拡張する。
• この枠組みは、単一サイクルグラフ上の標準BPとツリー再重み付けBPを特別な場合として含み、それらの理論的保証を統一する。
• 低温における凸和積和BPは、MAP問題の線形計画緩和を解くことができ、BPと線形計画法の間に接続を確立する。
• 信念の一貫性と凸性に基づく新しい一貫性条件により、一部の信念にタイがある場合でもMAP解を回復可能となり、適用範囲が拡大される。
• 実験結果から、junctioin-tree推論が高木幅のため失敗する現実世界のグラフィカルモデルにおいても、本手法が正確にMAPを同定できることを示した。
• 理論的枠組みにより、従来正確な手法が適用不可能とされていたモデルに対しても正確な推論が可能になった。