[論文レビュー] Structured Region Graphs: Morphing EP into GBP

Max Welling, Thomas P. Minka+1 more|arXiv (Cornell University)|Jul 4, 2012

Evolutionary Algorithms and Applications参考文献 8被引用数 32

ひとこと要約

本稿では、期待値伝搬（EP）とループ付きベイズ確率的推論（GBP）を統合するための統一的枠組みとして、領域に指数型分布族構造を埋め込んだ構造的領域グラフを導入する。EPによる離散変数の近似はGBPの特別なケースであり、逆にGBPの近似もEPの特別なケースであることが明らかになり、最大エントロピー正規性やカウント数が1である構造的性質を保証することで、確率的推論における高品質でユーザーが調整可能な近似が可能になる。

ABSTRACT

GBP and EP are two successful algorithms for approximate probabilistic inference, which are based on different approximation strategies. An open problem in both algorithms has been how to choose an appropriate approximation structure. We introduce 'structured region graphs', a formalism which marries these two strategies, reveals a deep connection between them, and suggests how to choose good approximation structures. In this formalism, each region has an internal structure which defines an exponential family, whose sufficient statistics must be matched by the parent region. Reduction operators on these structures allow conversion between EP and GBP free energies. Thus it is revealed that all EP approximations on discrete variables are special cases of GBP, and conversely that some wellknown GBP approximations, such as overlapping squares, are special cases of EP. Furthermore, region graphs derived from EP have a number of good structural properties, including maxent-normality and overall counting number of one. The result is a convenient framework for producing high-quality approximations with a user-adjustable level of complexity

研究の動機と目的

• 期待値伝搬（EP）とループ付きベイズ確率的推論（GBP）を共通の形式的枠組みで統一すること。
• EPとGBPにおける最適な近似構造の選択という未解決問題に取り組むこと。
• 領域ベースの表現を通じてEPとGBPの深い構造的関係を明らかにすること。
• ユーザーが複雑さを調整可能な高品質な近似を構築するためのフレームワークを提供すること。

提案手法

• 各領域が内部に指数型分布族構造を持ち、その十分統計量が親領域と一致する構造的領域グラフを導入する。
• 自由エネルギー表現をEPとGBPの間で変換する還元演算子を定義し、両アルゴリズム間の変換を可能にする。
• 最大エントロピー正規性や全体のカウント数が1であるような構造的制約を課して、一貫性と安定性を保証する。
• EPから導かれる領域グラフを用いて有効なGBP近似を生成し、逆にGBPからEP近似を生成することで、特定の条件下で等価性を示す。
• 親領域が子領域の十分統計量の一致を強制する階層的領域構造を採用する。
• 形式的枠組みを適用することで、離散変数におけるEP近似がGBPの特別なケースであり、重複する正方形のような有名なGBP構造がEPの特別なケースであることが示される。

実験結果

リサーチクエスチョン

• RQ1 EPとGBPを同一の近似フレームワークで正式に統一することは可能か？
• RQ2 領域ベースの近似において一貫性と高品質な推論を保証する構造的性質は何か？
• RQ3 離散変数におけるEP近似は、GBPの特別なケースとして表現可能か？
• RQ4 重複する正方形のような有名なGBP構造は、EPの例として解釈可能か？
• RQ5 精度を維持したまま、近似の複雑さをどのように制御できるか？

主な発見

• 構造的領域グラフの枠組みにおいて、離散変数におけるEP近似はすべてGBPの特別なケースである。
• 重複する正方形のような有名なGBP近似は、構造的領域グラフの枠組みで見るとEPの特別なケースである。
• EPから導かれる領域グラフは、最大エントロピー正規性や全体のカウント数が1であるといった望ましい構造的性質を持つ。
• EPとGBPの自由エネルギー間の還元演算子により、両アルゴリズム間の体系的変換が可能になる。
• このフレームワークにより、ユーザーが複雑さを調整可能な高品質な近似が可能になる。
• 形式的枠組みにより、EPとGBPの間の深い双対性が明らかになり、両者の近似戦略が共通の数学的構造の下で統一される。