[논문 리뷰] A remarkably simple and accurate method for computing the Bayes Factor from a Markov chain Monte Carlo Simulation of the Posterior Distribution in high dimension

Martin D. Weinberg, Ilsang Yoon외 1명|arXiv (Cornell University)|2013. 01. 14.

Statistical Methods and Bayesian Inference참고 문헌 7인용 수 10

한 줄 요약

이 논문은 MCMC 표본을 활용하여 고차원 모델에서 베이즈 요인을 계산하는 간단하고 정확한 방법을 제시한다: 사후분포의 최대값 주변의 고사후밀도 부분영역을 식별하고, 이를 균일하게 재표본화한 후, 난이도 높은 몬테카를로 적분을 통해 주변 가능도를 추정한다. 이 방법은 16차원 문제에서 5% 이내의 오차율을 달성하여 이전 방법이 실패한 정확한 모델 선택을 가능하게 한다.

ABSTRACT

Weinberg (2012) described a constructive algorithm for computing the marginal likelihood, Z, from a Markov chain simulation of the posterior distribution. Its key point is: the choice of an integration subdomain that eliminates subvolumes with poor sampling owing to low tail-values of posterior probability. Conversely, this same idea may be used to choose the subdomain that optimizes the accuracy of Z. Here, we explore using the simulated distribution to define a small region of high posterior probability, followed by a numerical integration of the sample in the selected region using the volume tessellation algorithm described in Weinberg (2012). Even more promising is the resampling of this small region followed by a naive Monte Carlo integration. The new enhanced algorithm is computationally trivial and leads to a dramatic improvement in accuracy. For example, this application of the new algorithm to a four-component mixture with random locations in 16 dimensions yields accurate evaluation of Z with 5% errors. This enables Bayes-factor model selection for real-world problems that have been infeasible with previous methods.

연구 동기 및 목표

• 고차원 베이지안 모델 선택에서 주변 가능도 추정의 계산 불가능성 문제를 해결하기 위해.
• 새로운 MCMC 실행이나 복잡한 테셀레이션 알고리즘을 요구하지 않고도 베이즈 요인 계산의 정확도를 향상시키기 위해.
• 기존 MCMC 표본만을 사용하여 복잡한 고차원 모델—특히 천문학 분야에서의 모델—에 대해 신뢰할 수 있는 모델 비교를 가능하게 하기 위해.
• 계산적으로 경량이면서 다양한 모델 차원과 구조에 대해 강건한 방법을 개발하기 위해.

제안 방법

• 기존 MCMC 표본들로부터 사후확률이 높은 부분영역 Ωₛ를 선택하여 사후분포의 주요 최대값에 집중한다.
• 이 부분영역 내에서 점들을 균일하게 재표본화하여 가능도의 안정적이고 분산이 작은 수치적 적분을 보장한다.
• 주변 가능도 적분의 왼쪽 항(Ωₛ에 속하는 표본 비율)은 원래 MCMC 체인에서의 수를 세어 추정한다.
• 오른쪽 항(Ωₛ 내에서 가능도의 적분)은 재표본화된 점들에 대해 단순 몬테카를로 적분을 통해 계산한다.
• 이전 연구에서 사용된 복잡한 부피 테셀레이션 알고리즘을 피함으로써 계산 오버헤드를 크게 감소시킨다.
• 사후확률이 핵심 영역에서 느리게 변한다는 사실을 활용하여, 균일한 재표본화가 효과적이고 정확하다.

실험 결과

연구 질문

• RQ1 MCMC 표본의 부분영역를 사용하여 고차원 모델에서 주변 가능도를 높은 정확도로 추정할 수 있는가?
• RQ2 선택된 부분영역을 재표본화하면 주변 가능도 추정의 수치적 안정성과 분산이 향상되는가?
• RQ3 이 새로운 방법의 성능은 차원이 증가함에 따라 이전 알고리즘과 어떻게 비교되는가?
• RQ4 추가적인 MCMC 샘플링이나 복잡한 기하 분할이 없이도 높은 정확도를 달성할 수 있는가?

주요 결과

• 이 방법은 16차원에서 4성분 혼합모형에 대해 주변 가능도 추정에서 5% 이내의 오차를 기록하여 이전 접근법에 비해 상당한 향상이 이루어졌다.
• 고사후밀도 부분영역을 재표본화하면 정확한 값의 25% 이내의 결과를 도출하며, 대부분의 추정치는 훨씬 더 가까운 수준이다.
• 핵심 영역에서 사후확률이 느리게 변하므로, 재표본화된 부분영역에서 단순 몬테카를로 적분이 더 복잡한 적분 방법과 유사한 성능을 보였다.
• 이 방법은 특히 고차원에서 원래의 부피 테셀레이션 알고리즘보다 뛰어나며, 복잡한 테셀레이션의 필요성을 제거한다.
• 모의 실험을 통해 무작위로 분포된 다중최대값을 가진 복잡한 다중모달 사후분포에 대해서도 이 방법이 강건함을 입증했다.
• 이 방법은 이전에 표준 기법으로는 계산이 불가능했던 실제 고차원 문제에 대해 정확한 베이즈 요인 계산을 가능하게 한다.