[論文レビュー] Belief Optimization for Binary Networks: A Stable Alternative to Loopy Belief Propagation

Max Welling, Yee Whye Teh|arXiv (Cornell University)|Jan 10, 2013

Bayesian Modeling and Causal Inference参考文献 16被引用数 102

ひとこと要約

本稿では、二値非巡回グラフィカルモデルにおける安定な推論アルゴリズムとして、Belief Optimizationを提案する。この手法は、交互にペairワイズ確率と周辺確率を更新することで、Bethe自由エネルギーを最小化する。loopy belief propagationとは異なり、局所的最小値への収束を保証し、収束しない場合でもBPを上回る性能を示す。したがって、データからのグラフィカルモデル学習に最適である。

ABSTRACT

We present a novel inference algorithm for arbitrary, binary, undirected graphs. Unlike loopy belief propagation, which iterates fixed point equations, we directly descend on the Bethe free energy. The algorithm consists of two phases, first we update the pairwise probabilities, given the marginal probabilities at each unit,using an analytic expression. Next, we update the marginal probabilities, given the pairwise probabilities by following the negative gradient of the Bethe free energy. Both steps are guaranteed to decrease the Bethe free energy, and since it is lower bounded, the algorithm is guaranteed to converge to a local minimum. We also show that the Bethe free energy is equal to the TAP free energy up to second order in the weights. In experiments we confirm that when belief propagation converges it usually finds identical solutions as our belief optimization method. However, in cases where belief propagation fails to converge, belief optimization continues to converge to reasonable beliefs. The stable nature of belief optimization makes it ideally suited for learning graphical models from data.

研究の動機と目的

• loopy belief propagationが二値非巡回グラフィカルモデルで示す不安定さと収束不能の問題に対処すること。
• Bethe自由エネルギーを最小化する、証明可能に収束する推論アルゴリズムの開発。
• データからのグラフィカルモデル学習に適した、頑健な代替手法の提供。
• 重みの2次項までにおいて、Bethe自由エネルギーとTAP自由エネルギーの関係を確立すること。

提案手法

• アルゴリズムは2つの交互な段階を実行する：固定された周辺確率のもとで、解析的表現を用いてペアワイズ確率を更新する。
• 次に、Bethe自由エネルギーの負の勾配に従って周辺確率を更新する。
• 両更新ステップとも、Bethe自由エネルギーを数学的に減少させることが保証されている。
• Bethe自由エネルギーが下限で有界であるため、アルゴリズムの収束が保証される。
• 重みの2次項までにおいて、Bethe自由エネルギーとTAP自由エネルギーの等価性を活用する。
• 固定点反復を避ける代わりに、自由エネルギーの勾配降下を用いる。

実験結果

リサーチクエスチョン

• RQ1 loopy belief propagationの収束問題を回避する、二値非巡回グラフィカルモデル向けの安定な推論アルゴリズムを開発可能か？
• RQ2 勾配に基づく更新によりBethe自由エネルギーを最小化することで、信頼性があり収束する信念推定が可能か？
• RQ3 提案手法のbelief optimizationは、収束性と解の品質において、loopy belief propagationと比較してどのように異なるか？
• RQ4 二値ネットワークにおいて、Bethe自由エネルギーとTAP自由エネルギーの関係は何か？

主な発見

• Belief Optimizationは、Bethe自由エネルギーの単調減少と有界性のおかげで、局所的最小値への収束を保証する。
• loopy belief propagationが収束する場合、belief optimizationは通常同じ解に到達する。これにより一貫性が確認された。
• loopy belief propagationが収束しない場合でも、belief optimizationは意味的で安定した信念に収束し続ける。
• Bethe自由エネルギーは、重みの2次項までにおいてTAP自由エネルギーと等価である。これにより、2つのフレームワークの理論的関連性が確立された。
• アルゴリズムの安定性は、収束が極めて重要なデータからのグラフィカルモデル学習に特に適している。