[논문 리뷰] MAP Complexity Results and Approximation Methods

James D. Park|arXiv (Cornell University)|2012. 12. 12.

Bayesian Modeling and Causal Inference참고 문헌 15인용 수 97

한 줄 요약

이 논문은 베이지안 네트워크에서 MAP (최대 사후확률) 문제의 NP-완전성을 입증하며, 다항식 트리 구조에서도 마찬가지로 NP-완전성을 유지함을 보이고, MPE 및 Pr 문제와 같은 더 쉬운 문제들이 다항시간 내에 해결 가능할 때조차도 MAP 문제의 난이도가 그대로 유지됨을 보여준다. 이를 해결하기 위해 저자들은 국소 탐색과 신뢰도 전파를 융합한 일반적인 근사 프레임워크를 제안하며, 정확한 추론이 불가능한 복잡한 네트워크에서도 정확한 MAP 추정이 가능하도록 한다. 실험 결과는 도전적인 사례들에 대해 뛰어난 성능을 보였다.

ABSTRACT

MAP is the problem of finding a most probable instantiation of a set of nvariables in a Bayesian network, given some evidence. MAP appears to be a significantly harder problem than the related problems of computing the probability of evidence Pr, or MPE a special case of MAP. Because of the complexity of MAP, and the lack of viable algorithms to approximate it,MAP computations are generally avoided by practitioners. This paper investigates the complexity of MAP. We show that MAP is complete for NP. We also provide negative complexity results for elimination based algorithms. It turns out that MAP remains hard even when MPE, and Pr are easy. We show that MAP is NPcomplete when the networks are restricted to polytrees, and even then can not be effectively approximated. Because there is no approximation algorithm with guaranteed results, we investigate best effort approximations. We introduce a generic MAP approximation framework. As one instantiation of it, we implement local search coupled with belief propagation BP to approximate MAP. We show how to extract approximate evidence retraction information from belief propagation which allows us to perform efficient local search. This allows MAP approximation even on networks that are too complex to even exactly solve the easier problems of computing Pr or MPE. Experimental results indicate that using BP and local search provides accurate MAP estimates in many cases.

연구 동기 및 목표

• 베이지안 네트워크에서 MAP 문제의 계산 복잡도를 공식적으로 입증하기 위해.
• MPE 및 Pr 문제가 다항시간 내에 해결 가능할 때조차도 MAP이 여전히 NP-난이도를 유지함을 보여주기 위해.
• 정확한 추론이 불가능한 복잡한 네트워크에서도 적용 가능한 실용적인 근사 프레임워크를 개발하기 위해.
• 증거 철회를 위한 신뢰도 전파를 활용하고 국소 탐색을 통한 효율적인 MAP 추정을 가능하게 하기 위해.
• 실제 및 합성 베이지안 네트워크에서 제안된 근사 방법의 정확도와 확장성 평가하기 위해.

제안 방법

• 기존의 알려진 NP-완전 문제로의 감소를 통한 MAP의 NP-완전성 증명 — 다항식 트리 구조 네트워크에서도 성립함.
• MAP에 대한 제거 기반 알고리즘의 한계 분석 — 복잡도를 감소시키지 못함을 보임.
• 국소 탐색과 신뢰도 전파를 융합한 일반적인 MAP 근사 프레임워크 제안.
• 신뢰도 전파를 통해 근사적인 증거 철회 정보를 추출하여 변수 할당에 대한 효율적 국소 탐색을 가능하게 함.
• BP에서 유도된 추정치에 기반한 국소 탐색을 지도로 하여 후보 해를 반복적으로 개선하는 하이브리드 알고리즘 구현.
• MPE 및 Pr 계산조차도 불가능한 네트워크에 프레임워크 적용 — 확장성 입증.

실험 결과

연구 질문

• RQ1 MAP 문제는 다항식 트리와 같은 제한된 네트워크 구조에서도 여전히 NP-완전한가?
• RQ2 정확한 추론이 불가능할 경우 MAP는 효과적으로 근사할 수 있는가?
• RQ3 신뢰도 전파에서 유도된 추정치가 MAP에 대한 국소 탐색의 효율성과 정확도를 향상시키는가?
• RQ4 MPE 및 Pr은 계산 가능하지만 MAP는 계산 불가능한 네트워크도 제안된 프레임워크가 처리할 수 있는가?
• RQ5 BP-국소 탐색의 조합 방식이 도출한 MAP 추정치의 정확도는 어떠한가?

주요 결과

• MAP는 다항식 트리 구조를 가진 베이지안 네트워크에서도 NP-완전성이 입증됨.
• MPE 및 Pr 문제가 다항시간 내에 계산 가능할 때조차도 MAP의 난이도는 그대로 유지됨.
• MAP에 대해 보장된 근사 한계를 가진 알고리즘이 존재하지 않으며, 이는 최선의 노력 기반 접근이 필수적임을 시사함.
• 제안된 BP-국소 탐색 프레임워크는 정확한 추론이 불가능한 복잡한 네트워크에서도 정확한 MAP 추정이 가능함.
• 신뢰도 전파가 유용한 증거 철회 정보를 제공하며, 이는 국소 탐색의 효율성을 크게 향상시킴.
• 실험 결과, 표준 추론이 실패하는 경우에도 이 방법은 다양한 테스트 케이스에서 정확한 MAP 추정치를 도출함.