[論文レビュー] Bounds on the Bethe Free Energy for Gaussian Networks

Botond Cseke, Tom Heskes|arXiv (Cornell University)|Jun 13, 2012

Bayesian Modeling and Causal Inference参考文献 16被引用数 5

ひとこと要約

本稿では、モーメント母数を用いてガウス確率的グラフモデルにおけるベーゼ自由エネルギーのタイトな上界および下界を導出し、自由エネルギーが下から有界であるための条件を確立する。本稿は、自由エネルギーが下から有界でない場合でも局所的最小値を有することがあり得ることを示し、WellingとTeh（2001）の予想を反証する。この結果により、最適化アルゴリズムがこのような状況でも収束することが可能であることが示される。

ABSTRACT

We address the problem of computing approximate marginals in Gaussian probabilistic models by using mean field and fractional Bethe approximations. As an extension of Welling and Teh (2001), we define the Gaussian fractional Bethe free energy in terms of the moment parameters of the approximate marginals and derive an upper and lower bound for it. We give necessary conditions for the Gaussian fractional Bethe free energies to be bounded from below. It turns out that the bounding condition is the same as the pairwise normalizability condition derived by Malioutov et al. (2006) as a sufficient condition for the convergence of the message passing algorithm. By giving a counterexample, we disprove the conjecture in Welling and Teh (2001): even when the Bethe free energy is not bounded from below, it can possess a local minimum to which the minimization algorithms can converge.

研究の動機と目的

• ガウス確率的グラフモデルにおけるベーゼ自由エネルギーの挙動、特にその有界性および最適性の性質を分析すること。
• モーメント母数を用いて、ガウスネットワークへの分数ベーゼ近似フレームワークを拡張すること。
• ベーゼ自由エネルギーが下から有界であるための必要十分条件を同定すること。
• 長年の文献における予想、すなわち、無限大に発散する自由エネルギーの地形において局所的最小値が存在しないという仮説を解消すること。

提案手法

• 近似周辺分布のモーメント母数（平均および共分散）を用いて、ガウス分数ベーゼ自由エネルギーを形式化する。
• 凸最適化技術を用いて、ベーゼ自由エネルギーの解析的上界および下界を導出する。
• 自由エネルギーが下から有界であるための必要条件として、ペアワイズ正規化可能性条件を同定する。
• 反例を用いて、WellingとTeh（2001）の予想である「無限大に発散する場合、局所的最小値は存在しない」という仮説を反証する。
• 変分推論の原則を適用し、自由エネルギーの有界性とメッセージパッシングアルゴリズムの収束性を結びつける。
• 境界条件とMalioutovら（2006）の収束基準が等価であることを確立する。

実験結果

リサーチクエスチョン

• RQ1 ガウスネットワークにおけるベーゼ自由エネルギーが下から有界である条件は何か？
• RQ2 ベーゼ自由エネルギーに下界がない場合、局所的最小値が存在しないとみなせるか？
• RQ3 ガウスモデルにおける分数ベーゼ自由エネルギーの定式化は、既存のメッセージパッシング収束基準とどのように関係するか？
• RQ4 反例が示唆するように、自由エネルギーが下から無限大に発散する場合でも、局所的最小値を有することが可能か？
• RQ5 ペアワイズ正規化可能性条件は、ガウスネットワークにおけるベーゼ自由エネルギーの有界性に対して必要かつ十分であるか？

主な発見

• 本稿は、ガウスネットワークにおいて、ベーゼ自由エネルギーが下から有界であるためにはペアワイズ正規化可能性条件が必要であることを確立する。
• 自由エネルギーが下から無限大に発散する場合でも、局所的最小値を有することがあることを証明し、WellingとTeh（2001）の予想を反証する。
• 導出されたベーゼ自由エネルギーの上界および下界はタイトであり、モーメント母数を明示的に用いて表現される。
• 境界条件はMalioutovら（2006）の収束基準と一致し、変分推論の安定性とアルゴリズムの収束性を結びつける。
• 反例により、グローバルな下界がない状況でも最適化アルゴリズムが局所的最小値に収束することが可能であることが示される。
• 本研究の結果は、ガウス確率的グラフモデルにおけるメッセージパッシングおよび変分推論の堅牢性に関する理論的基盤を提供する。