[논문 리뷰] Approximating MAP using Local Search

James D. Park, Adnan Darwiche|arXiv (Cornell University)|2013. 01. 10.

Bayesian Modeling and Causal Inference참고 문헌 13인용 수 45

한 줄 요약

이 논문은 베이지안 네트워크에서 최대사후확률추정(MAP) 추정을 근사하기 위한 로컬 서치 기반 방법을 제안하며, 계산 복잡도를 제약을 받는 트리너비보다는 단지 트리너비에만 의존하도록 감소시킨다. 이 방법은 표준 기법들보다 훨씬 더 정확한 MAP 근사치를 달성하며, 사후분포나 MPE를 계산하는 것과 유사한 공간 및 시간 복잡도를 유지한다.

ABSTRACT

MAP is the problem of finding a most probable instantiation of a set of variables in a Bayesian network, given evidence. Unlike computing marginals, posteriors, and MPE (a special case of MAP), the time and space complexity of MAP is not only exponential in the network treewidth, but also in a larger parameter known as the "constrained" treewidth. In practice, this means that computing MAP can be orders of magnitude more expensive than computingposteriors or MPE. Thus, practitioners generally avoid MAP computations, resorting instead to approximating them by the most likely value for each MAP variableseparately, or by MPE.We present a method for approximating MAP using local search. This method has space complexity which is exponential onlyin the treewidth, as is the complexity of each search step. We investigate the effectiveness of different local searchmethods and several initialization strategies and compare them to otherapproximation schemes.Experimental results show that local search provides a much more accurate approximation of MAP, while requiring few search steps.Practically, this means that the complexity of local search is often exponential only in treewidth as opposed to the constrained treewidth, making approximating MAP as efficient as other computations.

연구 동기 및 목표

• 베이지안 네트워크에서 정확한 MAP 추론의 높은 계산 비용을 해결하기 위해, 이는 트리너비와 더 큰 매개변수인 제약을 받는 트리너비에 대해 지수적으로 증가한다.
• 정확한 계산의 금방 뛰어나게 비싼 비용을 피하면서도 확장 가능하고 효율적인 MAP 근사 방법을 개발하기 위해.
• 로컬 서치 전략과 초기화 방법이 MAP 근사치의 정확도에 미치는 영향을 평가하기 위해.
• 로컬 서치가 정확히 트리너비에 의해 결정되는 복잡도를 가지며 제약을 받는 트리너비에 의해 결정되지 않는다는 것을 보여주어, 다른 추론 작업과 동일한 효율성을 갖게 한다.

제안 방법

• 이 방법은 베이지안 네트워크의 조건부 확률 분포에서 유도된 점수 함수에 의해 유도되는, MAP 변수의 후보 할당을 반복적으로 개선하는 로컬 서치를 사용한다.
• 각 서치 단계는 현재 할당에 대해 증거의 로그우도를 계산하여 이웃하는 할당을 평가함으로써 국소적인 개선에 집중한다.
• 다양한 전략, 예를 들어 마진 맵 변수 할당과 무작위 초기화를 사용하여 검색 공간의 다양한 영역을 탐색하기 위해 초기화가 이루어진다.
• 스티페스트 오르막 또는 첫 번째 개선 전략을 사용하여 검색 공간을 효율적으로 탐색하며, 재시작이나 다양화를 통해 국소 최적값을 피한다.
• 공간 복잡도는 네트워크의 트리너비에 의해 제한되며, 제약을 받는 트리너비 저장이 필요한 방법들과는 달리, 검색 중에 국소 클리크만을 저장한다.
• 이 방법은 벤치마크 베이지안 네트워크에서 구현 및 평가되었으며, 마진화 기반 근사치와 MPE와의 성능을 비교하였다.

실험 결과

연구 질문

• RQ1 로컬 서치는 표준 마진화나 MPE 기반 히우리스틱보다 더 정확한 MAP 근사치를 제공할 수 있는가?
• RQ2 로컬 서치의 복잡도가 제약을 받는 트리너비가 아니라 단지 트리너비에 따라 증가하는가? 이는 큰 네트워크에서 실용적인 사용을 가능하게 하는가?
• RQ3 다양한 로컬 서치 전략과 초기화 방법이 MAP 근사치의 품질과 수렴 속도에 어떤 영향을 미치는가?
• RQ4 정확도와 효율성 측면에서 기존의 근사 기법들에 비해 로컬 서치가 얼마나 뛰어나게 성능을 발휘하는가?

주요 결과

• 로컬 서치는 각 MAP 변수를 독립적으로 근사하거나 MPE를 대체로 사용하는 것보다 훨씬 더 정확한 MAP 근사치를 제공한다.
• 이 방법의 공간 및 시간 복잡도는 제약을 받는 트리너비가 아니라 단지 트리너비에 대해 지수적으로 증가하므로, 더 큰 네트워크로의 확장이 가능하다.
• 마진 맵 변수 값으로 초기화하는 것이 무작위 초기화보다 더 빠른 수렴과 더 나은 최종 해를 얻는 데 기여한다.
• 다양한 재시작을 포함한 스티페스트 오르막 로컬 서치는 솔루션 품질 측면에서 첫 번째 개선 전략보다 뛰어나다.
• 정확한 추론이 불가능한 벤치마크 네트워크에서 이 방법은 거의 최적에 가까운 MAP 근사치를 달성한다.