[論文レビュー] Loop corrections for approximate inference

Joris M. Mooij, Bert Kappen|arXiv (Cornell University)|Dec 5, 2006

Bayesian Modeling and Causal Inference参考文献 22被引用数 4

ひとこと要約

本稿では、カビティ分布と一貫性制約を用いてループに起因する誤差を補正することで、グラフィカルモデルにおける近似的な推論を改善する、ループ補正（LC）手法を提案する。これは、信念伝搬（BP）および最小クラスタ変動法（CVM）を一般化し、実世界のネットワークを含む多様なモデルにおいて、著しく高い精度を達成する。通常、誤差は元の手法の誤差の二乗程度にまで低減される。

ABSTRACT

We propose a method for improving approximate inference methods that corrects for the influence of loops in the graphical model. The method is applicable to arbitrary factor graphs, provided that the size of the Markov blankets is not too large. It is an alternative implementation of an idea introduced recently by Montanari and Rizzo (2005). In its simplest form, which amounts to the assumption that no loops are present, the method reduces to the minimal Cluster Variation Method approximation (which uses maximal factors as outer clusters). On the other hand, using estimates of the effect of loops (obtained by some approximate inference algorithm) and applying the Loop Correcting (LC) method usually gives significantly better results than applying the approximate inference algorithm directly without loop corrections. Indeed, we often observe that the loop corrected error is approximately the square of the error of the approximate inference method used to estimate the effect of loops. We compare different variants of the Loop Correcting method with other approximate inference methods on a variety of graphical models, including "real world" networks, and conclude that the LC approach generally obtains the most accurate results.

研究の動機と目的

• グラフィカルモデルにおけるループに起因する近的推論の不正確さ、特にループ干渉のため標準的手法（信念伝搬）が失敗する状況を是正すること。
• 二値対話的モデルに限定されない、任意の因子グラフに適用可能な汎用的で頑健な手法を開発すること。
• カビティ分布と一貫性関係を用いて、ループの影響を推定・補正することで、近的推論の精度を向上させること。
• ループ補正された結果が、元の推論手法の誤差の約二乗のレベルにまで低下することを示し、著しい精度向上を示すこと。

提案手法

• 本手法は、変数のマークフォーク・ブランケット上での周辺分布（カビティ分布）を用い、その変数を含むすべての要因を除去することで、ループ効果を分離する。
• 信念伝搬に線形応答を適用するなど、近的推論アルゴリズムを用いて、カビティ分布における有効な相互作用（累積量）を推定する。
• カビティ分布間の一貫性制約を課すことにより誤差を相殺し、BPおよび最小CVMを一般化する固定点メッセージスイーピングアルゴリズムを導出する。
• コアとなる方程式は、高次項を無視して計算可能性を確保するため、二階累積量のみを用いてカビティモーメントを近似する。
• 収束を高速化するため、一貫性方程式の線形化版を導出し、補正された周辺分布の効率的計算を可能にする。
• 最終的な周辺期待値は、カビティ推定値と推定されたペア累積量を組み合わせた補正式を用いて計算する。

実験結果

リサーチクエスチョン

• RQ1 ループ補正は、ループを含むグラフィカルモデルにおける近的推論の精度を著しく向上させることができるか？
• RQ2 提案されたループ補正手法は、二値対話的モデルに限定されず、任意の因子グラフに一般化可能か？
• RQ3 ループ補正推論の誤差は、ベースとなる近的推論手法の誤差に対してどのようにスケーリングされるか？
• RQ4 カビティ分布間の一貫性制約は、ループに起因する誤差寄与を効果的に相殺できるか？
• RQ5 多様なグラフィカルモデルにおいて、信念伝搬、クラスタ変動法、TreeEPといった既存手法と比較して、LC手法の精度はどの程度か？

主な発見

• ループ補正手法は、実世界ネットワークを含む多様なグラフィカルモデルにおいて、信念伝搬やTreeEPといった標準的手法を一貫して上回る性能を示す。
• ループ補正推論の誤差は、ループ効果を推定するために用いられるベース手法の誤差の約二乗のレベルにまで低下し、精度の二乗改善を示している。
• 本手法は任意の因子グラフに直接適用可能であり、先行研究が二値対話的モデルに限定されていたという制限を克服している。
• 強い相互作用や密なループ構造を有するモデルに対しても、既存手法よりもより頑健である。
• 一貫性方程式の線形化版により、効率的な計算が可能となり、信頼性の高い収束が得られ、実用的導入を支援する。
• カビティ分布が因数分解可能（ループなし）であると仮定すると、本手法は正確に最小クラスタ変動法に還元され、既存の近似手法との整合性が裏付けられる。