[论文解读] Extending Factor Graphs so as to Unify Directed and Undirected Graphical Models

Brendan J. Frey|arXiv (Cornell University)|Oct 19, 2012

Bayesian Modeling and Causal Inference参考文献 9被引用 53

一句话总结

本文提出将因子图扩展，以统一有向（贝叶斯网络）和无向（马尔可夫随机场）图模型，通过一种单一且一致的表示方式，保留条件独立性、因子分解结构，并支持统一的消息传递推理算法。其关键贡献在于证明了因子图是这两种模型的严格超集，包括此前无法表示的结构（如专家混合片段）。

ABSTRACT

The two most popular types of graphical model are directed models (Bayesian networks) and undirected models (Markov random fields, or MRFs). Directed and undirected models offer complementary properties in model construction, expressing conditional independencies, expressing arbitrary factorizations of joint distributions, and formulating message-passing inference algorithms. We show that the strengths of these two representations can be combined in a single type of graphical model called a 'factor graph'. Every Bayesian network or MRF can be easily converted to a factor graph that expresses the same conditional independencies, expresses the same factorization of the joint distribution, and can be used for probabilistic inference through application of a single, simple message-passing algorithm. In contrast to chain graphs, where message-passing is implemented on a hypergraph, message-passing can be directly implemented on the factor graph. We describe a modified 'Bayes-ball' algorithm for establishing conditional independence in factor graphs, and we show that factor graphs form a strict superset of Bayesian networks and MRFs. In particular, we give an example of a commonly-used 'mixture of experts' model fragment, whose independencies cannot be represented in a Bayesian network or an MRF, but can be represented in a factor graph. We finish by giving examples of real-world problems that are not well suited to representation in Bayesian networks and MRFs, but are well-suited to representation in factor graphs.

研究动机与目标

• 将有向与无向图模型统一为单一、连贯的框架。
• 克服贝叶斯网络与马尔可夫随机场在表示某些条件独立性与因子分解结构方面的局限性。
• 实现一种适用于两类模型的统一消息传递推理算法。
• 证明因子图能够表示如专家混合等在标准贝叶斯网络或MRF中无法表达的结构。
• 为现实世界中不适用于传统模型的问题提供一种实用且统一的表示方法。

提出的方法

• 通过广义因子分解框架，将标准因子图扩展以同时支持有向与无向依赖关系。
• 通过改进的“贝叶斯球”算法变体，表示条件独立性，该算法适配于扩展的因子图结构。
• 使用单一、统一的消息传递算法进行推理，避免为有向与无向模型分别设计不同算法。
• 提出从贝叶斯网络与MRF到因子图的正式映射，同时保持条件独立性与联合分布的因子分解结构。
• 在因子图上采用类似超图的消息传递机制，避免链图超图带来的复杂性。
• 通过构建在标准贝叶斯网络或MRF中均不可表示的示例（如专家混合），证明扩展因子图是贝叶斯网络与MRF的严格超集。

实验结果

研究问题

• RQ1 能否通过单一图模型表示，统一有向与无向模型的优势？
• RQ2 是否存在无法在贝叶斯网络或马尔可夫随机场中表示，但可在扩展因子图中捕捉的条件独立性结构？
• RQ3 能否通过因子图，将单一统一的消息传递算法应用于有向与无向模型？
• RQ4 如何在扩展因子图框架中一致地定义条件独立性的语义？
• RQ5 哪些现实世界建模问题不适用于传统图模型，但更适合使用扩展因子图？

主要发现

• 扩展因子图能够表示贝叶斯网络与马尔可夫随机场的所有条件独立性与因子分解结构。
• 所提出的框架支持在有向与无向模型之间统一使用单一消息传递推理算法。
• 专家混合模型片段（在标准贝叶斯网络或MRF中无法表示）在扩展因子图框架中成功被编码。
• 扩展因子图是贝叶斯网络与MRF的严格超集，这一点通过仅能在扩展形式中表达的模型存在性得到证明。
• 涉及复杂条件依赖关系与混合结构的现实世界问题，更自然且高效地可通过扩展因子图表示建模。