[論文レビュー] Approximate inference on planar graphs using Loop Calculus and Belief Propagation

Vicenç Gómez, Hilbert J. Kappen+1 more|ArXiv.org|Jan 7, 2009

Bayesian Modeling and Causal Inference参考文献 32被引用数 7

ひとこと要約

この論文は、ループ計算と信念伝播を用いて、平面的グラフィカルモデルにおける分割関数を効率的に近似する手法を提案する。ループ級数を拡張グラフ上の完全マッチングに基づくペフィアンの和に再定式化することで、1次補正項を多項式時間で計算可能とし、従来の切り捨て手法や最新の推論手法を上回る高い精度の近似を得られる。これは、グリッドや平面的グラフ上の二値2項モデルにおいて有効である。

ABSTRACT

We introduce novel results for approximate inference on planar graphical models using the loop calculus framework. The loop calculus (Chertkov and Chernyak, 2006) allows to express the exact partition function of a graphical model as a finite sum of terms that can be evaluated once the belief propagation (BP) solution is known. In general, full summation over all correction terms is intractable. We develop an algorithm for the approach presented in (Certkov et al., 2008) which represents an efficient truncation scheme on planar graphs and a new representation of the series in terms of Pfaffians of matrices. We analyze the performance of the algorithm for the partition function approximation for models with binary variables and pairwise interactions on grids and other planar graphs. We study in detail both the loop series and the equivalent Pfaffian series and show that the first term of the Pfaffian series for the general, intractable planar model, can provide very accurate approximations. The algorithm outperforms previous truncation schemes of the loop series and is competitive with other state-of-the-art methods for approximate inference.

研究の動機と目的

• 正確な推論が困難な平面的グラフィカルモデルにおける分割関数の計算的に効率的な近似スキームの開発。
• ループ計算における全ループ級数の和の困難さに対処するため、平面的グラフに特化した新しい切り捨て戦略の導入。
• 拡張グラフ上のペフィアン計算を活用し、ループ級数における重要な補正項の多項式時間評価を可能にする。
• ペフィアン級数の最初の項が、外部場を含む一般の平面的モデルに対しても、非常に高い精度の近似を提供することの実証。
• 既存のループ級数切り捨て手法を上回り、最新の近似推論技術と競合可能な実用的アルゴリズムの確立。

提案手法

• ループ計算とペフィアン計算の適用を容易にするために、元の平面的グラフィカルモデルをフォルニーグラフ表現に変換する。
• ループ計算を適用し、正確な分割関数を、各ノードの次数が2以上の部分グラフに対応する一般化されたループの有限和（ループ級数）として表現する。
• ループ級数を、拡張グラフから導出される反対称行列のペフィアンの和に再定式化し、各項の多項式時間評価を可能にする。
• 信念伝播近似に対する主要な補正を捉えるために、ペフィアン級数の最初の項のみを選択する切り捨て戦略を実装する。
• 平面的グラフにおけるカステレインの定理を活用し、拡張グラフに関連する反対称行列のペフィアンを効率的に計算することで補正項を算出する。
• 補助ノードを用いて、外部場を含む元の二値2項モデルを、外部場のないイジングモデルに変換し、外部場が存在する場合でもペフィアン計算を可能にする。

実験結果

リサーチクエスチョン

• RQ1 ループ計算フレームワークは、平面的グラフにおいて効率的に切り捨て可能であり、高精度な分割関数近似をもたらすか？
• RQ2 ループ級数はペフィアンの観点から再表現可能であり、補正項の多項式時間計算を可能にするか？
• RQ3 ペフィアン級数の最初の項は、外部場を含む一般の平面的モデルに対しても、真の分割関数に強く近似するか？
• RQ4 提案手法の性能は、既存の信念伝播切り捨て手法や平面グリッド上での最新の推論手法と比べてどのように差がつくか？
• RQ5 正確な推論が困難なモデルにおいて、ペフィアンに基づくアプローチは外部場を含むモデルに対してもどれほど適応可能か？

主な発見

• ペフィアン級数の最初の項が、分割関数に対して非常に高い精度の近似を提供しており、多くの場合、全ループ級数の切り捨てと同等またはそれを上回る精度を達成する。
• 提案されたアルゴリズムは、平面グリッド上に定義された二値2項モデルにおいて、従来のループ級数切り捨て手法よりも近似精度と計算効率の両面で優れている。
• 信念伝播単体では性能が低い領域においても、他の最新の近似推論技術と競争力のある性能を発揮する。
• ペフィアンに基づく再定式化により、補正項の多項式時間評価が可能となり、より大きな平面的グラフへのスケーラビリティが実現される。
• 補助ノードを用いた変換により、外部場を含む一般の平面的モデルに対しても、ループ計算の適用範囲が拡張された。
• 実験的結果から、相互作用の強さやグラフトポロジーの変化に対しても、本手法は安定しており、強いループが存在する場合にBPに比べ顕著な改善が得られる。