[論文レビュー] Discrete geometric analysis of message passing algorithm on graphs

Yusuke Watanabe|arXiv (Cornell University)|Apr 28, 2010

Error Correcting Code Techniques参考文献 121被引用数 7

ひとこと要約

本稿は、要因グラフにおける繰り返し付き信念伝搬（LBP）アルゴリズム、ベーテ自由エネルギー、およびグラフゼータ関数を結びつける新しい解析的枠組み「ベーテ・ゼータ公式」を導入する。LBPに離散的幾何的基盤を確立することで、特にサイクルを含むグラフにおいて、LBP収束性、固定点の一意性、およびベーテ自由エネルギーの凸性に関する新たな知見が得られる。

ABSTRACT

We often encounter probability distributions given as unnormalized products of non-negative functions. The factorization structures are represented by hypergraphs called factor graphs. Such distributions appear in various fields, including statistics, artificial intelligence, statistical physics, error correcting codes, etc. Given such a distribution, computations of marginal distributions and the normalization constant are often required. However, they are computationally intractable because of their computational costs. One successful approximation method is Loopy Belief Propagation (LBP) algorithm. The focus of this thesis is an analysis of the LBP algorithm. If the factor graph is a tree, i.e. having no cycle, the algorithm gives the exact quantities. If the factor graph has cycles, however, the LBP algorithm does not give exact results and possibly exhibits oscillatory and non-convergent behaviors. The thematic question of this thesis is "How the behaviors of the LBP algorithm are affected by the discrete geometry of the factor graph?" The primary contribution of this thesis is the discovery of a formula that establishes the relation between the LBP, the Bethe free energy and the graph zeta function. This formula provides new techniques for analysis of the LBP algorithm, connecting properties of the graph and of the LBP and the Bethe free energy. We demonstrate applications of the techniques to several problems including (non) convexity of the Bethe free energy, the uniqueness and stability of the LBP fixed point. We also discuss the loop series initiated by Chertkov and Chernyak. The loop series is a subgraph expansion of the normalization constant, or partition function, and reflects the graph geometry. We investigate theoretical natures of the series. Moreover, we show a partial connection between the loop series and the graph zeta function.

研究の動機と目的

• 要因グラフの離散的幾何構造が、繰り返し付き信念伝搬（LBP）アルゴリズムの挙動にどのように影響するかを理解すること。
• 収束性や正確性が保証されない繰り返し付き（サイクルを含む）グラフにおけるLBPの理論的理解の不足を解消すること。
• 新しい解析的公式を通じて、LBP、ベーテ自由エネルギー、およびグラフゼータ関数の厳密な関係を確立すること。
• 一般の要因グラフにおけるベーテ自由エネルギー関数の凸性および安定性を分析すること。
• 分配関数のループ級数展開の理論的性質と、それがグラフゼータ関数とどのように関連するかを調査すること。

提案手法

• LBPアルゴリズム、ベーテ自由エネルギー、およびグラフゼータ関数を、離散的幾何的構造を通じて形式的に関連付けるベーテ・ゼータ公式を導入する。
• 自然パラメータ $\theta_{\alpha:i}$ と補助変数 $\xi_{\alpha:i}$ を用いた座標変換を導入し、ベーテ自由エネルギー関数を再表現するとともに、そのヘッセ行列を分析する。
• ラグランジュ変換および指数型分布族理論を用いて、タイプ1およびタイプ2のベーテ自由エネルギー関数 $F$ および $\mathcal{F}$ をそれぞれ導出する。
• 十分統計量の分散および共分散を用いて、ベーテ自由エネルギーのヘッセ行列を表現し、特定の条件下でその半正定値性を示す。
• $\xi$-座標系における $\mathcal{F}$ の2階微分を分析し、局所変数の分散と行列 $I - \mathcal{M}(\mathbf{u})$ を含む行列構造を明らかにする。
• ハイパーグラフ内の部分グラフ寄与および素サイクルの分析を通じて、分配関数のループ級数展開とグラフゼータ関数を結びつける。

実験結果

リサーチクエスチョン

• RQ1 要因グラフの離散的幾何構造、特にそのサイクル構造は、繰り返し付き信念伝搬（LBP）アルゴリズムの収束性および安定性にどのように影響するか？
• RQ2 ベーテ自由エネルギー、LBP固定点、およびグラフゼータ関数の間の明確な数学的関係は何か？
• RQ3 ベーテ自由エネルギー関数が凸となる条件は何か？ そして、その凸性はLBP解の一意性および安定性とどのように関連するか？
• RQ4 分配関数のループ級数展開の理論的性質は何か？ そして、それがグラフゼータ関数とどのように関連するか？
• RQ5 ベーテ・ゼータ公式を用いて、一般の繰り返し付きグラフにおけるLBPの新たな収束基準または安定性条件を導出可能か？

主な発見

• ベーテ・ゼータ公式により、LBPアルゴリズム、ベーテ自由エネルギー、およびグラフゼータ関数の間の直接的な解析的関係が確立され、LBP挙動に関する新たな幾何的知見が得られる。
• タイプ1のベーテ自由エネルギー関数 $F$ は、要因グラフのノルマリティ $n(H) = 0$ または $1$ の場合、$L(\mathcal{I})$ 上で凸であり、これらの条件下で一意な最小値が存在することが保証される。
• $\xi$-座標系におけるタイプ2のベーテ自由エネルギー関数 $\mathcal{F}$ のヘッセ行列は、$\text{diag}(\text{Var}[\phi_{t(e)}]) \cdot (I - \mathcal{M}(\mathbf{u}))$ として表現され、局所的分散およびメッセージパッシングダイナミクスの役割が明確にされる。
• LBP固定点において、$\text{Var}_\gamma[\phi_i]$ と $\text{Var}_i[\phi_i]$ は等しくなるため、ヘッセ行列の構造が単純化され、安定性解析が可能になる。
• 分配関数のループ級数展開は、グラフの幾何構造を反映しており、素サイクルからの寄与が含まれており、部分的にグラフゼータ関数と関連づけられることが示された。
• 本稿では、すべての $i \in \alpha$ に対して $\varphi_\alpha(\eta_\alpha) - \varphi_i(\eta_i)$ が凸であることを証明しており、これが指定された場合のベーテ自由エネルギー関数の凸性の根拠となる。