[논문 리뷰] Solving MAP Exactly using Systematic Search

James D. Park, Adnan Darwiche|arXiv (Cornell University)|2012. 10. 19.

Bayesian Modeling and Causal Inference참고 문헌 10인용 수 62

한 줄 요약

이 논문은 베이지안 네트워크에서 MAP(Maximum A Posteriori) 문제를 정확하게 해결하기 위한 새로운 분기 및 경계 알고리즘을 제안한다. 이 알고리즘은 MAP 해의 확률에 대한 새로운 상한을 사용하며, 이 상한은 계산이 효율적이며, 상한의 질과 계산 시간 사이의 트레이드오프를 고려한다. 이로 인해 이전의 구조 기반 방법이 다룰 수 없었던 제약 트리위드(constrained treewidth)가 40를 초과하는 네트워크에 대해서도 정확한 해를 도출할 수 있다.

ABSTRACT

MAP is the problem of finding a most probable instantiation of a set of variables in a Bayesian network given some evidence. Unlike computing posterior probabilities, or MPE (a special case of MAP), the time and space complexity of structural solutions for MAP are not only exponential in the network treewidth, but in a larger parameter known as the "constrained" treewidth. In practice, this means that computing MAP can be orders of magnitude more expensive than computing posterior probabilities or MPE. This paper introduces a new, simple upper bound on the probability of a MAP solution, which admits a tradeoff between the bound quality and the time needed to compute it. The bound is shown to be generally much tighter than those of other methods of comparable complexity. We use this proposed upper bound to develop a branch-and-bound search algorithm for solving MAP exactly. Experimental results demonstrate that the search algorithm is able to solve many problems that are far beyond the reach of any structure-based method for MAP. For example, we show that the proposed algorithm can compute MAP exactly and efficiently for some networks whose constrained treewidth is more than 40.

연구 동기 및 목표

• 베이지안 네트워크에서 정확한 MAP 추론의 높은 계산 복잡도를 해결하기 위해, MPE나 사후 확률 계산보다 더 비용이 많이 드는 문제를 다루는 것.
• 기존의 구조 기반 방법의 한계를 넘어서 확장 가능한 정확한 MAP 알고리즘을 개발하는 것.
• 계산 비용과 밀도의 균형을 고려한 새로운 MAP 해 확률 상한을 제안하는 것.
• 이전에 구조 기반 방법으로는 해결이 어려웠던 고제약 트리위드를 가진 네트워크에 대해서도 정확한 MAP 해를 도출할 수 있도록 하는 것.

제안 방법

• 계산 비용과 상한의 질 사이의 조절 가능한 트레이드오프를 고려해 효율적으로 계산할 수 있는 새로운 MAP 해 확률 상한을 제안한다.
• 이 상한을 분기 및 경계 검색 프레임워크에 통합하여 정확한 MAP 계산 중에 탐색 공간을 잘라내는 데 사용한다.
• 체계적인 탐색을 통해 변수 할당 공간을 체계적이고 완전한 방식으로 탐색한다.
• 유사한 복잡도를 가진 기존 방법보다 더 날카로운 상한을 설계하여, 더 효과적인 잘라내기 성능을 향상시킨다.
• 정확성을 유지하면서도 탐색 노력을 크게 줄일 수 있도록 상한을 검색 알고리즘에 통합한다.

실험 결과

연구 질문

• RQ1 계산 효율성과 날카로움의 균형을 고려한 새로운 MAP 해 확률 상한을 설계할 수 있는가?
• RQ2 이 상한이 분기 및 경계 프레임워크에 효과적으로 통합되어 고제약 트리위드를 가진 네트워크에 대해 정확한 MAP를 해결할 수 있는가?
• RQ3 제안된 방법이 어려운 MAP 인스턴스를 해결하는 데 있어 기존의 구조 기반 접근법을 능가하는가?
• RQ4 상한의 조절 가능성은 다양한 베이지안 네트워크 구조에서 탐색 성능 향상에 얼마나 기여하는가?

주요 결과

• 제안된 상한은 유사한 계산 비용을 가진 기존 방법보다 훨씬 날카로워, 탐색 과정에서 더 효과적인 잘라내기를 가능하게 한다.
• 분기 및 경계 알고리즘이 제약 트리위드가 40를 초과하는 베이지안 네트워크에서 정확한 MAP 문제를 성공적으로 해결했으며, 이는 이전의 구조 기반 방법으로는 다루기 어려운 영역이다.
• 이 방법은 상당한 확장성 향상을 보였으며, 이전에 해결 가능했던 것보다 수 개의 차수 더 복잡한 인스턴스를 해결할 수 있었다.
• 상한의 질과 계산 시간 사이의 트레이드오프 덕분에 사용자가 가용 자원에 맞게 알고리즘을 조정할 수 있으며, 정확성은 유지된다.