[논문 리뷰] MAP Estimation, Message Passing, and Perfect Graphs

Tony Jebara|arXiv (Cornell University)|2012. 05. 09.

Bayesian Modeling and Causal Inference참고 문헌 23인용 수 22

한 줄 요약

이 논문은 완전 그래프에서 최대 사후확률(_MAP_ past) 추정이 다항시간 내에 정확하게 메시지 전달을 통해 해결 가능하다고 규명한다. 강력한 완전 그래프 정리와 선형계획법 풀이의 완화를 활용하여, 저자들은 선형계획법 풀이의 정수성 조건이 정확한 복원을 보장함을 보여주며, 단일 연결 그래프를 넘어서 광범위한 그래프 모델 클래스에서 효율적이고 최적의 추론을 가능하게 한다.

ABSTRACT

Efficiently finding the maximum a posteriori (MAP) configuration of a graphical model is an important problem which is often implemented using message passing algorithms. The optimality of such algorithms is only well established for singly-connected graphs and other limited settings. This article extends the set of graphs where MAP estimation is in P and where message passing recovers the exact solution to so-called perfect graphs. This result leverages recent progress in defining perfect graphs (the strong perfect graph theorem), linear programming relaxations of MAP estimation and recent convergent message passing schemes. The article converts graphical models into nand Markov random fields which are straightforward to relax into linear programs. Therein, integrality can be established in general by testing for graph perfection. This perfection test is performed efficiently using a polynomial time algorithm. Alternatively, known decomposition tools from perfect graph theory may be used to prove perfection for certain families of graphs. Thus, a general graph framework is provided for determining when MAP estimation in any graphical model is in P, has an integral linear programming relaxation and is exactly recoverable by message passing.

연구 동기 및 목표

• MAP 추정이 다항시간 내에 해결 가능하고 메시지 전달을 통해 해결 가능한 광범위한 그래프 모델의 클래스를 규명하는 것.
• 기존의 단일 연결 그래프를 넘어서 더 큰 그래프 가족으로 MAP 추정의 다항시간 해결 가능성을 확장하는 것.
• 완전 그래프 이론, 선형계획법 풀이의 완화, 정확한 메시지 전달 알고리즘을 연결하는 이론적 프레임워크를 수립하는 것.
• 주어진 그래프 모델이 다항시간 내 정확한 _MAP_ 추론을 허용하는지 여부를 판단하는 일반적인 방법을 제공하는 것.

제안 방법

• 그래프 모델을 _nand_ 마르코프 무작위 필드로 변환하여 선형계획법 풀이의 완화를 가능하게 하는 것.
• 강력한 완전 그래프 정리를 적용하여 다항시간 알고리즘을 사용해 그래프의 완전성 여부를 테스트하는 것.
• 완전 그래프 이론에서 알려진 분해 도구를 활용하여 특정 그래프 가족의 완전성 여부를 증명하는 것.
• 그래프의 완전성 검증을 통해 선형계획법 풀이의 정수성을 확보함으로써 정확한 _MAP_ 해를 보장하는 것.
• 최근 개발된 수렴하는 메시지 전달 방법을 활용하여, 선형계획법 풀이가 정수일 경우 정확한 해를 복원하는 것.
• 주어진 그래프 모델이 정확한 다항시간 _MAP_ 추론을 허용하는지 여부를 판단하는 일반적 프레임워크를 제시하는 것.

실험 결과

연구 질문

• RQ1 어떤 그래프 모델 클래스에서 _MAP_ 추정이 다항시간 내에 정확한 메시지 전달로 해결 가능한가?
• RQ2 단일 연결 그래프를 넘어서 더 넓은 그래프 가족에 대해 선형계획법 풀이의 정수성을 보장할 수 있는가?
• RQ3 완전 그래프 이론은 어떻게 적용되어 _MAP_ 추정의 선형계획법 풀이가 정수해를 갖도록 보장할 수 있는가?
• RQ4 그래프의 완전성과 메시지 전달 알고리즘이 정확한 _MAP_ 해로 수렴하는 것 사이의 관계는 무엇인가?
• RQ5 어떤 주어진 그래프 모델에 대해 _MAP_ 추정의 다항시간 해결 가능성을 판단하는 통합 프레임워크를 개발할 수 있는가?

주요 결과

• 모든 완전 그래프에서 _MAP_ 추정은 다항시간 내에 해결 가능하며, 단일 연결 그래프를 넘어서는 다항시간 해결 가능성을 확장한다.
• 선형계획법 풀이의 정수성은 오직 그리고 오직 그 기반이 되는 그래프가 완전 그래프일 때 보장된다.
• 그래프가 완전 그래프인지 여부를 테스트하는 다항시간 알고리즘이 존재하여, 다항시간 해결 가능성을 효율적으로 검증할 수 있다.
• 선형계획법 풀이가 정수일 경우 메시지 전달 알고리즘이 정확한 _MAP_ 해를 복원하며, 이는 정확히 완전 그래프에서 발생한다.
• 이 프레임워크는 그래프 이론적 성질을 활용하여 다항시간 해결 가능한 그래프 모델을 체계적으로 규명할 수 있도록 한다.
• 이 접근은 정확한 추론을 위한 선형계획법 풀이의 완화, 완전 그래프 이론, 수렴하는 메시지 전달을 통합한다.