[論文レビュー] Efficient Exact Inference in Planar Ising Models

Nicol N. Schraudolph, Dmitry Kamenetsky|ArXiv.org|Oct 24, 2008

Error Correcting Code Techniques参考文献 42被引用数 50

ひとこと要約

この論文は、平面性を活用して問題を双対グラフ上の完全マッチングに写像することで、部分モジュラ制約なしに平面イジング模型における正確な推論を多項式時間で行うアルゴリズムを提示する。この手法により、グランドステート、分配関数、周辺確率の効率的計算が可能となり、画像のノイズ除去およびセグメンテーションタスクで最先端の性能を達成した。10,000ノードのグリッドは標準のラップトップで0.3秒で処理された。

ABSTRACT

We give polynomial-time algorithms for the exact computation of lowest-energy (ground) states, worst margin violators, log partition functions, and marginal edge probabilities in certain binary undirected graphical models. Our approach provides an interesting alternative to the well-known graph cut paradigm in that it does not impose any submodularity constraints; instead we require planarity to establish a correspondence with perfect matchings (dimer coverings) in an expanded dual graph. We implement a unified framework while delegating complex but well-understood subproblems (planar embedding, maximum-weight perfect matching) to established algorithms for which efficient implementations are freely available. Unlike graph cut methods, we can perform penalized maximum-likelihood as well as maximum-margin parameter estimation in the associated conditional random fields (CRFs), and employ marginal posterior probabilities as well as maximum a posteriori (MAP) states for prediction. Maximum-margin CRF parameter estimation on image denoising and segmentation problems shows our approach to be efficient and effective. A C++ implementation is available from http://nic.schraudolph.org/isinf/

研究の動機と目的

• 部分モジュラ制約を必要としない、二値の非有向グラフィカルモデルにおける正確な推論のためのフレームワークを構築すること。
• 特にグリッド格子のような高木幅を持つ大規模グラフィカルモデルにおいて、正確な推論の計算的非可能性に対処すること。
• 周辺確率とMAP推論をサポートすることにより、条件付きランダムフィールド（CRF）における最大マージンおよび罰則付き最尤推定を可能にすること。
• 部分モジュラモデルを超えた正確な推論を、平面性と完全マッチングへの双対性を活用して拡張すること。
• グランドステート、分配関数、エッジ周辺確率を含む、平面イジング模型における推論タスクのスケーラブルで効率的かつ統一的な実装を提供すること。

提案手法

• 平面イジング模型をその双対グラフに写像し、エネルギー最小化問題を最小重み完全マッチング問題に変換する。
• 一般の二値MRFをバイアスノードを含む等価なイジング模型に変換する構成的変換を用い、エネルギーの等価性を定数分のずれを除いて保持する。
• このフレームワークは平面埋め込みと最大重み完全マッチングアルゴリズムに依存し、複雑な部分問題を成熟した効率的ライブラリに委ねる。
• グランドステートは、双対グラフにおける最小重み完全マッチングにより計算され、元のモデルにおける最低エネルギー状態に対応する。
• 対数分配関数と周辺確率は、カステレイン行列のパフリアンを用いて導出され、イジング模型とドミアカバーの間の双対性を活用する。
• このアプローチはMAP推論と周辺後確率推論の両方をサポートし、最大マージンCRF学習とパrameter推定を可能にする。

実験結果

リサーチクエスチョン

• RQ1 部分モジュラ制約を必要とせず、平面イジング模型における正確な推論を多項式時間で達成できるか？
• RQ2 平面イジング模型と完全マッチングの双対性をどのように活用して、グランドステート、分配関数、周辺確率を効率的に計算できるか？
• RQ3 このフレームワークは、最大マージンパラメータ推定をサポートできるか。これにより、部分モジュラグラフカット手法よりも優れた一般化性能が得られるか？
• RQ4 この手法は、100×100の画像グリッドのような大規模で現実世界のグラフィカルモデルにどの程度スケーラブルに適用できるか？
• RQ5 トポロジー的性質（例えば、ジャンルやねじれサイクル）を活用することで、非平面グラフへの拡張は可能か？

主な発見

• 10,000ノードの平面イジング模型のグランドステートは、標準のラップトップでたった0.3 CPU秒で計算可能であり、高いスケーラビリティを示した。
• 画像のノイズ除去およびセグメンテーションタスクにおける最大マージンCRF学習は、信号対ノイズ比が1:7および1:8の条件下で1%未満のノード誤分類率を達成した。
• ノイズの強いマスクにおいても、元のセグメンテーション境界を正確に回復した。一部のケースでは、人間の視覚認識限界を上回った。
• このフレームワークはMAP推論と周辺後確率推論の両方を可能にし、CRFにおける罰則付き最尤推定および最大マージンパラメータ推定を支援した。
• この手法はノイズに強く、信号対ノイズ比が1:6以上では完全な再構成を達成し、1:9未満では失敗した。
• 400×400グリッドは0.85 CPU秒で処理され、大規模問題におけるこの手法の効率性が裏付けられた。