[論文レビュー] A Graphical Transformation for Belief Propagation: Maximum Weight Matchings and Odd-Sized Cycles

Sungsoo Ahn, Michael Chertkov+3 more|arXiv (Cornell University)|Jun 5, 2013

Bayesian Modeling and Causal Inference参考文献 20被引用数 6

ひとこと要約

本稿では、最大重みマッチング（MWM）問題における最大積信念伝播（BP）に、新たなグラフィカル変換を提案する。この変換により、線形計画（LP）緩和を厳密化するためにサイクル不等式を追加しても、正しいMAP解への収束が保証される。主な貢献は、元のグラフィカルモデルを、変換後のLP緩和がタイトである限りBPが最適MWM割り当てに収束する新たな定式化に変換することにある。これにより、従来の条件下で問題が生じていたBPの正しさが回復される。

ABSTRACT

We study the Maximum Weight Matching (MWM) problem for general graphs through the max-product Belief Propagation (BP) and related Linear Programming (LP). The BP approach provides distributed heuristics for finding the Maximum A Posteriori (MAP) assignment in a joint probability distribution represented by a Graphical Model (GM) and respective LPs can be considered as continuous relaxations of the discrete MAP problem. It was recently shown that a BP algorithm converges to the correct MWM assignment under a simple GM formulation of MAP/MWM as long as the corresponding LP relaxation is tight. First, under the motivation for forcing the tightness condition, we consider a new GM formulation of MWM, say C-GM, using non-intersecting odd-sized cycles in the graph: the new corresponding LP relaxation, say C-LP, becomes tight for more MWM instances. However, the tightness of C-LP now does not guarantee such convergence and correctness of the new BP on C-GM. To address the issue, we introduce a novel graph transformation applied to C-GM, which results in another GM formulation of MWM, and prove that the respective BP on it converges to the correct MAP/MWM assignment as long as C-LP is tight. Finally, we also show that C-LP always has half-integral solutions, which leads to an efficient BP-based MWM heuristic consisting of making sequential, `cutting plane', modifications to the underlying GM. Our experiments show that this BP-based cutting plane heuristic performs as well as that based on traditional LP solvers.

研究の動機と目的

• MWMのLP緩和をタイト化するためにサイクル不等式を追加した場合に、最大積信念伝播（BP）が正しく収束しない問題に対処すること。
• 元のグラフの変換により新たなグラフィカルモデル定式化を導入することで、MWMにおけるBPの収束と正しさを回復すること。
• 変換に対してMAP解が不変のまま保たれ、かつ変換後のLP緩和がタイトである場合にBPが収束することを保証すること。
• 逐次的なカットプレーン修正を用いたBPベースのヒューリスティクスを開発し、従来のLPソルバと同等の性能を達成すること。

提案手法

• 元のMWM問題に交差しない奇数サイズのサイクル制約を追加することで、LP緩和をタイト化する（C-LP）新しいグラフィカルモデル定式化C-GMを導入する。
• 奇数サイクルを新たな頂点に縮約し、エッジ重みを再定義する、新たなグラフ変換を提案し、変換後のグラフィカルモデルC-GM′を構築する。
• C-LPがタイトである場合に限り、C-GM′上でBPが正しいMAP/MWM割り当てに収束することを証明する。これにより収束保証が回復される。
• 計算ツリー技法を用いて、変換後のモデル上でのBPの収束性と正しさを分析する。
• 逐次的に奇数サイクル制約をモデルに追加するBPベースのカットプレーンヒューリスティクスを設計し、新たな変換を活用してBP収束を維持する。
• C-LPは常に半整数解を有することを示し、LP緩和の逐次的精錬が効率的に行えることを示す。

実験結果

リサーチクエスチョン

• RQ1 サイクル制約を追加してLP緩和をタイト化したMWMインスタンスにおいて、最大積信念伝播（BP）が正しく収束できるか。
• RQ2 MAP解を保持しつつ、LPがタイトな条件下でBPの収束を回復するグラフィカル変換は何か。
• RQ3 中央集権的なLPソルバと同等の性能を達成する、分散的で反復的なMWMソルバとしてBPを用いる方法はあるか。
• RQ4 奇数サイクル制約を含むMWMのLP緩和は、常に半整数解を有すると言えるか。これにより、逐次的精錬が効率的に行えるか。
• RQ5 LP緩和がタイトであるがBPが失敗する非木構造的グラフィカルモデルにおいて、BPの収束をどのように回復できるか。

主な発見

• 提案されたグラフィカル変換により、C-GM′上で実行される最大積信念伝播（BP）は、C-LP緩和がタイトである場合に限り、正しいMWM割り当てに収束することが保証される。
• 元のC-GMと変換後のC-GM′のMAP割り当ては一対一対応しており、解の整合性が保たれる。
• C-LP緩和は常に半整数解を有するため、効率的なBPベースのカットプレーンヒューリスティクスの設計が可能となる。
• 逐次的な奇数サイクル制約を適用するBPベースのヒューリスティクスは、実験において従来のLPソルバと同等の性能を示した。
• この変換により、標準BPがサイクル制約の追加によって失敗する同一インスタンスに対しても、BPが正しく収束し、正しさを維持できる。
• 本手法は、大規模MWM問題に対して、中央集権的なLPソルバの代替としての分散型メッセージスイーピング手法を提供し、タイト性下で収束が保証される。