[論文レビュー] New Generalizations of the Bethe Approximation via Asymptotic Expansion

Ryuhei Mori, Toshiyuki Tanaka|arXiv (Cornell University)|Oct 9, 2012

Error Correcting Code Techniques参考文献 12被引用数 4

ひとこと要約

本稿では、グラフィカルモデルにおける分配関数の近似のため、新しい漸近展開に基づくベッチ近似の一般化を提案する。フォンテベルのグラフカバー特徴付けと、ベッチ自由エネルギーのヘッセ行列に関連するエッジゼータ関数を活用することで、特定の条件下で、特にループに沿って相関が減少するスパースモデルにおいて、元のベッチ近似を漸近的に改善する高次の補正項が導出される。

ABSTRACT

The Bethe approximation, discovered in statistical physics, gives an efficient algorithm called belief propagation (BP) for approximating a partition function. BP empirically gives an accurate approximation for many problems, e.g., low-density parity-check codes, compressed sensing, etc. Recently, Vontobel gives a novel characterization of the Bethe approximation using graph cover. In this paper, a new approximation based on the Bethe approximation is proposed. The new approximation is derived from Vontobel's characterization using graph cover, and expressed by using the edge zeta function, which is related with the Hessian of the Bethe free energy as shown by Watanabe and Fukumizu. On some conditions, it is proved that the new approximation is asymptotically better than the Bethe approximation.

研究の動機と目的

• 標準的なベッチ近似を超える体系的な高次近似を、分配関数に適用すること。
• グラフカバー理論に裏打ちされた漸近展開技術を用いて、ベッチ近似の一般化を形式化すること。
• 新しい近似が、漸近的精度の観点で元のベッチ近似を上回る条件を確立すること。
• エッジゼータ関数とベッチ自由エネルギーのヘッセ行列との関係を確立し、高次補正項に幾何的・解析的解釈を可能にすること。
• 特に臨界的挙動や自由エネルギー最小値の不連続性を示すモデルにおいて、相転移付近での近似の挙動を調査すること。

提案手法

• ベッチ自由エネルギーの漸近展開を、次数 $ m $ まで行い、高次モーメントと微分を用いて、新しい近似 $ Z_{\text{AB}}^{(m)} $ を導出する。
• フォンテベルのグラフカバーフレームワークを用いて、ベッチ自由エネルギーを特徴付け、因子グラフ内の一般化されたループ構造へと拡張する。
• エッジゼータ関数 $ \tilde{\rho}(\bm{u}) $ を用いて近似を表現し、渡辺と福島の結果を介して、ベッチ自由エネルギーのヘッセ行列と解析的に関連付ける。
• $ Z_{\text{AB}}^{(1)}, Z_{\text{AB}}^{(2)}, \text{etc.} $ といった一連の補正項を導入し、それぞれがベッチ自由エネルギーの微分を通じて、高次統計モーメント（例：$ Z_{\text{AB}}^{(1)} $ では3次モーメント）を組み込む。
• メッセージ $ m_{i\to a}, m_{a\to i} $ を用いて、局所的分布 $ b_i, b_a $ を定義し、可約性制約を介して整合性を保つ。
• イジング模型や3スピンイジング模型などのモデルにこの手法を適用し、エッジゼータ関数 $ \tilde{\rho}(\bm{u}) = 1 $ かつ一様なメッセージの下で $ Z_{\text{AB}}^{(1)} = Z_{\text{Bethe}} $ が成り立つことを示す。

実験結果

リサーチクエスチョン

• RQ1 ベッチ近似は、漸近展開技術を用いて体系的に一般化可能であり、その精度を向上させることができるか？
• RQ2 新しい近似 $ Z_{\text{AB}}^{(m)} $ が、元のベッチ近似よりも分配関数の推定を良くする条件は何か？
• RQ3 エッジゼータ関数とベッチ自由エネルギーのヘッセ行列との関係は何か？この関係は、高次補正項の導出に利用可能か？
• RQ4 ベッチ自由エネルギーのヘッセ行列が特異化する臨界温度付近で、一般化された近似の挙動はいかなるものか？
• RQ5 スパースな要因グラフにおいて、大規模極限 $ N \to \infty $ においてこの手法が正当化可能か？特に、ループに沿った相関が減少する場合に有効か？

主な発見

• ループに沿った対間相関の積が大規模極限でゼロに近づく条件のもとで、新しい近似 $ Z_{\text{AB}}^{(1)} $ はベッチ近似よりも漸近的に優れている。
• エッジゼータ関数 $ \tilde{\rho}(\bm{u}) = 1 $ のとき、例えば一様なメッセージを持つ3スピンイジング模型では、$ Z_{\text{AB}}^{(1)} $ は正確にベッチ近似に還元される。
• $ Z_{\text{AB}}^{(1)} $ の導出にはベッチ自由エネルギーの3次微分が関与しており、これはグラフィカルモデルにおける3次モーメントを考慮していることを示している。
• この手法により、$ m=1 $ の場合、すべてのノード次数が3以下である連結した一般化されたループからの寄与が捉えられ、$ m $ が増加するにつれてより複雑なループ構造へと一般化される。
• ベッチ自由エネルギーの最小値が不連続にジャンプする場合、臨界温度 $ \beta_c $ で近似が不連続になることが判明し、これは1次相転移の有限サイズアナログを示している。
• ベッチ自由エネルギーのヘッセ行列が正定値でない場合、臨界温度 $ \beta_c $ でエッジゼータ関数が発散する。これは、2次相転移の有限サイズアナログを示している。