[논문 리뷰] MAP Estimation, Linear Programming and Belief Propagation with Convex Free Energies

Yair Weiss, Chen Yanover외 1명|arXiv (Cornell University)|2012. 06. 20.

Bayesian Modeling and Causal Inference참고 문헌 19인용 수 12

한 줄 요약

이 논문은 그래픽 모델에서 MAP 추정을 위한 유일한 프레임워크인 볼록 민감도 전파(CBP)를 소개한다. 볼록 자유 에너지 근사에 기반하여 제시되며, 동일한 값이 없는 조건 하에서 볼록 최대제품 BP의 固定点이 정확한 MAP 해를 제공함을 증명한다. 또한 저온에서의 볼록 합산 제품 BP가 MAP 완화 선형 프로그래밍 문제를 해결할 수 있음을 보여준다. 이 방법은 단일 순환 또는 나무 재가중 모델을 넘어서 더 넓은 범주에 속하는 그래프에 대해 증명 가능한 최적성의 적용을 확장한다.

ABSTRACT

Finding the most probable assignment (MAP) in a general graphical model is known to be NP hard but good approximations have been attained with max-product belief propagation (BP) and its variants. In particular, it is known that using BP on a single-cycle graph or tree reweighted BP on an arbitrary graph will give the MAP solution if the beliefs have no ties. In this paper we extend the setting under which BP can be used to provably extract the MAP. We define Convex BP as BP algorithms based on a convex free energy approximation and show that this class includes ordinary BP with single-cycle, tree reweighted BP and many other BP variants. We show that when there are no ties, fixed-points of convex max-product BP will provably give the MAP solution. We also show that convex sum-product BP at sufficiently small temperatures can be used to solve linear programs that arise from relaxing the MAP problem. Finally, we derive a novel condition that allows us to derive the MAP solution even if some of the convex BP beliefs have ties. In experiments, we show that our theorems allow us to find the MAP in many real-world instances of graphical models where exact inference using junction-tree is impossible.

연구 동기 및 목표

• 단일 순환 또는 나무 재가중 BP를 초월하여 더 넓은 범주에 속하는 모델에 대해 민감도 전파(BP)의 이론적 보장을 확장하기 위해.
• 다양한 BP 변종을 볼록 자유 에너지 근사에 기반한 공통 프레임워크 아래 통합하기 위해.
• 볼록 최대제품 BP가 민감도가 동일한 경우에도 정확한 MAP 할당을 증명 가능하게 복구할 수 있는 조건을 설정하기 위해.
• 저온에서의 볼록 합산 제품 BP와 MAP 문제의 선형 프로그래밍 완화 간의 연결 고리를 설정하기 위해.
• 나무-결합 추론이 높은 트리위드스를 이유로 계산적으로 불가능한 실제 그래픽 모델에서 정확한 MAP 추론을 가능하게 하기 위해.

제안 방법

• 볼록 자유 에너지 기능의 볼록 근사를 기반으로 한 민감도 전파 알고리즘으로 볼록 BP를 정의한다.
• 단일 순환 그래프에서의 표준 BP와 나무 재가중 BP가 볼록 BP의 특수한 경우임을 보여준다.
• 만약 볼록 최대제품 BP의 민감도가 동일한 값이 없으면 고정점이 MAP 할당에 해당함을 증명한다.
• 충분히 낮은 온도에서 볼록 합산 제품 BP가 MAP 문제의 선형 프로그래밍 완화 문제를 해결할 수 있음을 보여준다.
• 민감도 일관성과 볼록성에 기반한 새로운 조건을 도입하여 일부 민감도가 동일한 경우에도 MAP 할당을 복구할 수 있도록 한다.
• 자유 에너지의 볼록성을 활용하여 최적화 과정의 수렴성과 안정성을 보장한다.

실험 결과

연구 질문

• RQ1 단일 순환 또는 나무 재가중 아키텍처를 초월하는 더 넓은 그래픽 모델 범주에서 민감도 전파가 MAP 해를 보장할 수 있는가?
• RQ2 볼록 최대제품 BP가 정확한 MAP 해로 수렴하는 조건은 무엇인가?
• RQ3 저온에서의 볼록 합산 제품 BP는 MAP 문제의 선형 프로그래밍 완화 문제를 해결하는 데 사용될 수 있는가?
• RQ4 일부 민감도가 동일한 경우에도 MAP 해를 복구할 수 있는 조건이 존재하는가?
• RQ5 제안된 프레임워크는 나무-결합 추론이 계산적으로 불가능한 실제 모델에서 정확한 MAP 추론을 가능하게 하는가?

주요 결과

• 모든 민감도가 유일할 경우(동일한 값이 없을 경우), 볼록 최대제품 BP가 정확한 MAP 해를 증명 가능하게 복구한다. 이는 단일 순환 및 나무 재가중 BP를 초월하여 증명 가능한 최적성의 적용 범위를 넓힌다.
• 이 프레임워크는 단일 순환 그래프에서의 표준 BP와 나무 재가중 BP를 특수한 경우로 포함하며, 이들의 이론적 보장을 통합한다.
• 저온에서의 볼록 합산 제품 BP는 MAP 문제의 선형 프로그래밍 완화 문제를 해결할 수 있으며, BP와 선형 프로그래밍 간의 연결 고리를 형성한다.
• 민감도 일관성에 기반한 새로운 조건을 통해 일부 민감도가 동일한 경우에도 MAP 해를 복구할 수 있어 적용 범위를 넓힌다.
• 실험 결과는 이 방법이 나무-결합 추론이 높은 트리위드스로 인해 실패하는 실제 그래픽 모델에서도 정확한 MAP를 성공적으로 찾는다.
• 이론적 프레임워크는 이전에는 정확한 방법으로 처리하기 어려운 모델에서도 정확한 추론을 가능하게 한다.