[論文レビュー] Extending Factor Graphs so as to Unify Directed and Undirected Graphical Models

Brendan J. Frey|arXiv (Cornell University)|Oct 19, 2012

Bayesian Modeling and Causal Inference参考文献 9被引用数 53

ひとこと要約

この論文は、条件付き独立性、要因分解、および統一されたメッセージパッシング推論アルゴリズムを保ちながら、有向（ベイジアンネットワーク）と無向（マルコフ確率場）のグラフィカルモデルを統合するため、要因グラフを拡張することを提案する。主な貢献は、要因グラフが両モデルの厳密な上位集合であることを示し、これまで表現不可能であった構造（例：エキスパートの混合）を含むことを明らかにしたことである。

ABSTRACT

The two most popular types of graphical model are directed models (Bayesian networks) and undirected models (Markov random fields, or MRFs). Directed and undirected models offer complementary properties in model construction, expressing conditional independencies, expressing arbitrary factorizations of joint distributions, and formulating message-passing inference algorithms. We show that the strengths of these two representations can be combined in a single type of graphical model called a 'factor graph'. Every Bayesian network or MRF can be easily converted to a factor graph that expresses the same conditional independencies, expresses the same factorization of the joint distribution, and can be used for probabilistic inference through application of a single, simple message-passing algorithm. In contrast to chain graphs, where message-passing is implemented on a hypergraph, message-passing can be directly implemented on the factor graph. We describe a modified 'Bayes-ball' algorithm for establishing conditional independence in factor graphs, and we show that factor graphs form a strict superset of Bayesian networks and MRFs. In particular, we give an example of a commonly-used 'mixture of experts' model fragment, whose independencies cannot be represented in a Bayesian network or an MRF, but can be represented in a factor graph. We finish by giving examples of real-world problems that are not well suited to representation in Bayesian networks and MRFs, but are well-suited to representation in factor graphs.

研究の動機と目的

• 有向モデルと無向モデルを一つの整合的で整合性のある枠組みに統合すること。
• 特定の条件付き独立性や要因分解を表現できないというベイジアンネットワークとマルコフ確率場の制限を克服すること。
• 両モデルタイプにわたる推論に適用可能な単一のメッセージパッシングアルゴリズムを可能にすること。
• 要因グラフが、標準的なベイジアンネットワークやMRFでは表現不可能な構造（例：エキスパートの混合）を表現できることを示すこと。
• 従来のモデルに不適切な実世界の問題に対して、実用的で統一された表現を提供すること。

提案手法

• 一般化された要因分解フレームワークを用いて、標準的な要因グラフを拡張し、有向および無向の依存関係を統合する。
• 拡張された要因グラフ構造に適応した修正版「ベイズボール」アルゴリズムを用いて、条件付き独立性を表現する。
• 有向モデルと無向モデルの両方に適用可能な、単一の統一されたメッセージパッシングアルゴリズムを用いて推論を実現し、両モデル用に別々のアルゴリズムを用いる必要を回避する。
• ベイジアンネットワークとMRFを要因グラフに形式的に写像する手法を導入し、条件付き独立性と同時分布の要因分解の両方を保持する。
• チェーングラフのハイパーグラフ的メッセージパッシング機構を避けるために、要因グラフ上でハイパーグラフに類似したメッセージパッシングメカニズムを採用する。
• エキスパートの混合のような例（いずれのモデルでも表現不可能）を構築することで、拡張された要因グラフがベイジアンネットワークとMRFの両方の厳密な上位集合であることを実証する。

実験結果

リサーチクエスチョン

• RQ1 単一のグラフィカルモデル表現が、有向モデルと無向モデルの利点を統合できるか？
• RQ2 ベイジアンネットワークやマルコフ確率場では表現できないが、拡張された要因グラフでは捉えられる条件付き独立性構造は存在するか？
• RQ3 要因グラフを通じて、有向モデルと無向モデルの両方に適用可能な単一の統一されたメッセージパッシングアルゴリズムを適用できるか？
• RQ4 拡張された要因グラフフレームワークにおいて、条件付き独立性の意味を一貫して定義できるか？
• RQ5 従来のグラフィカルモデルに不適切だが、拡張された要因グラフに適している実世界のモデリング問題は何か？

主な発見

• 拡張された要因グラフは、ベイジアンネットワークとマルコフ確率場のすべての条件付き独立性および要因分解を表現可能である。
• 提案された枠組みは、有向モデルと無向モデルの両方に適用可能な単一の統一されたメッセージパッシング推論アルゴリズムをサポートする。
• ベイジアンネットワークやMRFでは表現不可能なエキスパートの混合モデル断片が、拡張された要因グラフフレームワークで成功裏に符号化された。
• エキスパートの混合のような、いずれのモデルでも表現不可能なモデルが存在することを示すことで、拡張された要因グラフがベイジアンネットワークとMRFの両方の厳密な上位集合であることが実証された。
• 複雑な条件付き依存関係やハイブリッド構造を含む実世界の問題は、拡張された要因グラフ表現を用いることで、より自然かつ効果的にモデル化できる。