[논문 리뷰] Extending Factor Graphs so as to Unify Directed and Undirected Graphical Models

Brendan J. Frey|arXiv (Cornell University)|2012. 10. 19.

Bayesian Modeling and Causal Inference참고 문헌 9인용 수 53

한 줄 요약

이 논문은 조건부 인덱서비티, 인자 분해, 메시지 전달 추론 알고리즘을 유지하는 단일이고 일관된 표현 방식을 제공함으로써, 유도 그래프 모델(베이지안 네트워크)과 무향 그래프 모델(마르코프 무작위 필드)을 통합하기 위해 요소 그래프를 확장한다. 주요 기여는 요소 그래프가 두 모델의 엄밀한 초집합임을 입증하며, 이는 이전에 표현이 불가능했던 구조(예: 전문가 혼합 구조)를 포함한다.

ABSTRACT

The two most popular types of graphical model are directed models (Bayesian networks) and undirected models (Markov random fields, or MRFs). Directed and undirected models offer complementary properties in model construction, expressing conditional independencies, expressing arbitrary factorizations of joint distributions, and formulating message-passing inference algorithms. We show that the strengths of these two representations can be combined in a single type of graphical model called a 'factor graph'. Every Bayesian network or MRF can be easily converted to a factor graph that expresses the same conditional independencies, expresses the same factorization of the joint distribution, and can be used for probabilistic inference through application of a single, simple message-passing algorithm. In contrast to chain graphs, where message-passing is implemented on a hypergraph, message-passing can be directly implemented on the factor graph. We describe a modified 'Bayes-ball' algorithm for establishing conditional independence in factor graphs, and we show that factor graphs form a strict superset of Bayesian networks and MRFs. In particular, we give an example of a commonly-used 'mixture of experts' model fragment, whose independencies cannot be represented in a Bayesian network or an MRF, but can be represented in a factor graph. We finish by giving examples of real-world problems that are not well suited to representation in Bayesian networks and MRFs, but are well-suited to representation in factor graphs.

연구 동기 및 목표

• 유도 및 무향 그래프 모델을 단일이고 통합된 프레임워크로 통합하기 위해.
• 일부 조건부 인덱서비티와 인자 분해를 표현하는 데 있어 베이지안 네트워크와 마르코프 무작위 필드의 한계를 극복하기 위해.
• 유도 및 무향 모델 양쪽에 걸쳐 동일한 메시지 전달 알고리즘을 적용할 수 있도록 하기 위해.
• 요소 그래프가 표준 베이지안 네트워크나 MRF에서 표현이 불가능한 구조(예: 전문가 혼합)를 표현할 수 있음을 입증하기 위해.
• 기존 모델에 잘 맞지 않는 실제 문제에 대해 실용적이고 통합된 표현 방식을 제공하기 위해.

제안 방법

• 일반화된 인자 분해 프레임워크를 사용하여 표준 요소 그래프를 확장하여 유도 및 무향 의존성 모두를 포함한다.
• 확장된 요소 그래프 구조에 맞게 수정된 '베이즈볼 알고리즘'을 활용해 조건부 인덱서비티를 표현한다.
• 유도 및 무향 모델에 대해 별도의 알고리즘을 필요로 하지 않고, 단일 통합 메시지 전달 알고리즘을 사용해 추론을 수행한다.
• 조건부 인덱서비티와 결합 분해를 모두 유지하는 방식으로, 베이지안 네트워크와 MRF를 요소 그래프로의 공식적 매핑을 도입한다.
• 체인 그래프의 하이퍼그래프 구조보다 복잡성이 낮은 하이퍼그래프 유사 메시지 전달 메커니즘을 요소 그래프에 적용한다.
• 전문가 혼합 구조와 같은 예시를 통해 확장된 요소 그래프가 유도 및 무향 모델의 엄밀한 초집합임을 입증한다.

실험 결과

연구 질문

• RQ1 단일 그래픽 모델 표현 방식이 유도 및 무향 모델의 장점을 통합할 수 있는가?
• RQ2 베이지안 네트워크나 마르코프 무작위 필드에서 표현이 불가능한 조건부 인덱서비티 구조가 있지만, 확장된 요소 그래프에서는 표현 가능한가?
• RQ3 유도 및 무향 모델에 모두 적용 가능한 단일 통합 메시지 전달 알고리즘이 요소 그래프를 통해 가능한가?
• RQ4 확장된 요소 그래프 프레임워크에서 조건부 인덱서비티의 의미를 일관되게 정의할 수 있는가?
• RQ5 기존 그래픽 모델에 잘 맞지 않지만, 확장된 요소 그래프에 잘 맞는 실제 문제는 무엇인가?

주요 결과

• 확장된 요소 그래프가 베이지안 네트워크와 마르코프 무작위 필드의 모든 조건부 인덱서비티와 인자 분해를 표현할 수 있다.
• 제안된 프레임워크는 유도 및 무향 모델 양쪽에 걸쳐 단일 통합 메시지 전달 추론 알고리즘을 지원한다.
• 기존의 베이지안 네트워크나 MRF에서는 표현이 불가능한 전문가 혼합 모델 조각이 확장된 요소 그래프 프레임워크에 성공적으로 인코딩되었다.
• 전문가 혼합 모델과 같은 예시를 통해 확장된 요소 그래프가 베이지안 네트워크와 MRF의 엄밀한 초집합임이 입증되었다.
• 복잡한 조건부 의존성과 하이브리드 구조를 포함하는 실제 문제들은 확장된 요소 그래프 표현 방식을 통해 더 자연스럽고 효과적으로 모델링될 수 있다.