[논문 리뷰] Approximate inference on planar graphs using Loop Calculus and Belief Propagation

Vicenç Gómez, Hilbert J. Kappen외 1명|ArXiv.org|2009. 01. 07.

Bayesian Modeling and Causal Inference참고 문헌 32인용 수 7

한 줄 요약

이 논문은 루프 계산법과 민감도 전파를 활용하여 평면 그래픽 모델에서 분할 함수를 효율적으로 근사하는 방법을 제안한다. 루프 시리즈를 확장된 그래프 상의 완전 매칭에 기반한 페프안 수합으로 재구성함으로써, 첫 번째 보정 항을 다항식 시간 내에 계산할 수 있게 되어, 기존의 절단 기법들과 최신 추론 기법들보다 뛰어난 정확도를 보이며, 격자와 평면 그래프 상의 이진 이항 모델에서 뛰어난 성능을 발휘한다.

ABSTRACT

We introduce novel results for approximate inference on planar graphical models using the loop calculus framework. The loop calculus (Chertkov and Chernyak, 2006) allows to express the exact partition function of a graphical model as a finite sum of terms that can be evaluated once the belief propagation (BP) solution is known. In general, full summation over all correction terms is intractable. We develop an algorithm for the approach presented in (Certkov et al., 2008) which represents an efficient truncation scheme on planar graphs and a new representation of the series in terms of Pfaffians of matrices. We analyze the performance of the algorithm for the partition function approximation for models with binary variables and pairwise interactions on grids and other planar graphs. We study in detail both the loop series and the equivalent Pfaffian series and show that the first term of the Pfaffian series for the general, intractable planar model, can provide very accurate approximations. The algorithm outperforms previous truncation schemes of the loop series and is competitive with other state-of-the-art methods for approximate inference.

연구 동기 및 목표

• 정확한 추론이 불가능한 평면 그래픽 모델에서 분할 함수에 대한 계산 효율적인 근사 기법을 개발하는 것.
• 루프 계산법에서 전체 루프 시리즈의 합산이 불가능한 문제를 해결하기 위해 평면 그래프에 특화된 새로운 절단 전략을 도입하는 것.
• 확장된 그래프에서 페프안 계산을 활용하여 루프 시리즈의 핵심 보정 항을 다항식 시간 내에 평가할 수 있도록 하는 것.
• 페프안 시리즈의 첫 번째 항이 외부 필드가 존재하는 일반 평면 모델에서도 정확도가 매우 높은 근사치를 제공함을 보여주는 것.
• 기존의 루프 시리즈 절단 기법들과 최신 추론 기법들보다 뛰어난 성능을 보이는 실용적인 알고리즘을 구축하는 것.

제안 방법

• 루프 계산법과 페프안 기반 계산을 용이하게 하기 위해 원래의 평면 그래픽 모델을 포르니 그래프 표현으로 변환하는 것.
• 루프 계산법을 적용하여 정확한 분할 함수를 각 노드의 최소 차수 2를 갖는 부분그래프에 대응하는 일반화된 루프의 유한한 합으로 표현하는 것.
• 확장된 그래프에서 유도된 반대칭 행렬의 페프안 합으로 루프 시리즈를 재구성하여 각 항을 다항식 시간 내에 평가할 수 있도록 하는 것.
• 민감도 전파 근사치에 대한 주요 보정을 반영하는 첫 번째 항만을 선택하는 절단 기법을 구현하는 것.
• 평면 그래프에 대해 캐스텔라인의 정리를 활용하여 확장된 그래프와 관련된 반대칭 행렬의 페프안을 효율적으로 계산하는 것.
• 보조 노드를 통해 외부 필드가 존재하는 원래의 이진 이항 모델을 등가의 영장력이 없는 이징 모델로 변환하여, 외부 필드가 존재하는 경우에도 페프안 계산이 가능하도록 하는 것.

실험 결과

연구 질문

• RQ1 루프 계산 프레임워크는 평면 그래프에 대해 효율적으로 절단될 수 있는가? 이를 통해 정확도 높은 분할 함수 근사치를 도출할 수 있는가?
• RQ2 루프 시리즈는 페프안 기반 표현으로 재구성될 수 있는가? 이를 통해 보정 항의 다항식 시간 평가가 가능한가?
• RQ3 외부 필드가 존재하는 일반 평면 모델에서 페프안 시리즈의 첫 번째 항은 진짜 분할 함수에 대해 강력한 근사치를 제공하는가?
• RQ4 제안된 방법은 평면 격자 상의 기존 민감도 전파 절단 기법들과 최신 추론 기법들에 비해 성능이 얼마나 뛰어나게 되는가?
• RQ5 정확한 추론이 불가능한 이러한 모델들에 대해, 페프안 기반 접근법은 외부 필드가 존재하는 경우에도 얼마나 잘 작동하는가?

주요 결과

• 페프안 시리즈의 첫 번째 항은 분할 함수에 대해 매우 정확한 근사치를 제공하며, 종종 전체 루프 시리즈 절단 기법보다도 높은 정확도를 달성한다.
• 제안된 알고리즘은 이진 이항 모델이 평면 격자에 정의된 경우, 기존의 루프 시리즈 절단 기법들보다 근사 정확도와 계산 효율성 면에서 뛰어나다.
• 민감도 전파만으로는 성능이 떨어지는 영역에서도 다른 최신 추론 기법들과 경쟁 가능한 성능을 달성한다.
• 페프안 기반 재구성은 보정 항의 다항식 시간 평가를 가능하게 하여, 더 큰 평면 그래프에 대한 확장성까지 확보한다.
• 보조 노드를 통한 변환을 통해 루프 계산법의 적용 범위를 외부 필드가 존재하는 일반 평면 모델로 확장하는 데 성공하였다.
• 실험 결과는 상호작용 강도와 그래프 구조에 관계없이 방법이 강인하며, 강한 루프가 존재할 경우 민감도 전파보다도 뚜렷한 성능 향상을 보임을 보여준다.