[논문 리뷰] Computing the Bayesian Factor from a Markov chain Monte Carlo Simulation of the Posterior Distribution

Martin D. Weinberg|arXiv (Cornell University)|2009. 11. 09.

Bayesian Methods and Mixture Models참고 문헌 17인용 수 7

한 줄 요약

이 논문은 MCMC 사후 표본으로부터의 주변 가능도를 계산하기 위해 두 가지 강건하고 수치적으로 안정된 알고리즘—내재 가능도 근사(NLA)와 부피 가중 근사(VTA)—를 제안한다. 이는 조화 평균 근사의 불안정성과 라플라스 근사의 강한 가정을 해결한다. 주요 기여는 주어진 사후 분포의 형태에 대한 제한적인 가정 없이 신뢰할 수 있는 베이즈 요인 추정이 가능하다는 점이며, 수치 실험을 통해 기존 방법들보다 뛰어난 성능을 보였다.

ABSTRACT

Computation of the marginal likelihood from a simulated posterior distribution is central to Bayesian model selection but is computationally difficult. I argue that the marginal likelihood can be reliably computed from a posterior sample by careful attention to the numerics of the probability integral. Posing the expression for the marginal likelihood as a Lebesgue integral, we may convert the harmonic mean approximation from a sample statistic to a quadrature rule. As a quadrature, the harmonic mean approximation suffers from enormous truncation error as consequence . In addition, I demonstrate that the integral expression for the harmonic-mean approximation converges slowly at best for high-dimensional problems with uninformative prior distributions. These observations lead to two computationally-modest families of quadrature algorithms that use the full generality sample posterior but without the instability. The first algorithm automatically eliminates the part of the sample that contributes large truncation error. The second algorithm uses the posterior sample to assign probability to a partition of the sample space and performs the marginal likelihood integral directly. This eliminates convergence issues. The first algorithm is analogous to standard quadrature but can only be applied for convergent problems. The second is a hybrid of cubature: it uses the posterior to discover and tessellate the subset of that sample space was explored and uses quantiles to compute a representive field value. Neither algorithm makes strong assumptions about the shape of the posterior distribution and neither is sensitive outliers. [abridged]

연구 동기 및 목표

• MCMC 표본으로부터 주변 가능도를 추정할 때 조화 평균 근사(HMA)의 불안정성과 정확도 부족 문제를 해결하기 위해.
• 일반적인 사후 분포에 적용 가능한 범위가 제한되는 라플라스 근사의 강한 비모수적 가정을 극복하기 위해.
• 다양한 모형, 특히 고차원 및 비타원형 사후 분포에 대해 적용 가능한 수치적으로 안정된 일반 목적의 주변 가능도 추정 알고리즘을 개발하기 위해.
• 오직 사후 MCMC 표본만을 사용하여 베이지안 모형 선택에서 베이즈 요인을 실용적이고 일관된 방법으로 계산할 수 있는 방법을 제공하기 위해.
• 기존 방법이 수치적 불안정성으로 인해 실패하는 복잡한 실제 문제에서 신뢰할 수 있는 모형 비교를 위한 프레임워크를 제공하기 위해.

제안 방법

• 주변 가능도를 르베그 적분으로 재정의하고, 조화 평균 근사를 샘플 공간 커버리지가 열악한 이유로 인한 절단 오차를 가진 구적법으로 재해석한다.
• 내재 가능도 근사(NLA)를 도입하며, MCMC 표본을 기반으로 이진 공간 분할(BSP) 트리, 특히 kd-트리를 사용하여 사후 밀도가 유의미한 영역 Ωₛ를 식별하고, 이 영역에서만 적분을 수행함으로써 절단 오차를 감소시킨다.
• 부피 가중 근사(VTA)를 개발하며, 파라미터 공간을 MCMC 표본 기반으로 분할하고, 분위수를 통해 셀에 확률을 할당하며, 부피 가중 필드 값으로 직접 주변 가능도를 계산한다.
• 사후 표본을 기반으로 파라미터 공간의 테셀레이션을 유도하여 고사후 밀도 영역가 잘 표현되도록 하며, 희소 샘플링으로 인한 편향을 줄인다.
• 식 (13)–(16)에서 지표 함수에 단계 함수 근사를 사용하며, 셀 내에서 저차수 다항식 피팅을 통해 정확도를 향상시킬 수 있다.
• 복잡하거나 고차원 문제에서 실패 위험을 최소화하기 위해 NLA와 VTA를 병행 사용하여 일관성 검증을 수행할 것을 권장한다.

실험 결과

연구 질문

• RQ1 조화 평균 근사를 절단 오차를 통제할 수 있는 구적법으로 재해석함으로써 안정화하고 개선할 수 있는가?
• RQ2 사후 분포의 특정 비모수적 형태를 가정하지 않고 MCMC 표본으로부터 주변 가능도를 신뢰할 만하게 추정할 수 있는가?
• RQ3 MCMC 표본의 공간 커버리지가 주변 가능도 추정 정확도에 어떤 역할을 하는가?
• RQ4 적응형 비모수적 적분 기법이 고차원 또는 다모드 사후 분포에서 기존 방법(예: 라플라스 근사)을 능가할 수 있는가?
• RQ5 제안된 알고리즘(NLA 및 VTA)은 다양한 모형 복잡도와 사전 분포에서 편향, 분산, 강건성 측면에서 어떻게 비교되는가?

주요 결과

• 조화 평균 근사는 희귀한, 가능도가 낮지만 사전 확률이 큰 표본에 매우 민감하여 이들이 이상치로 작용하고 추정치를 지배함으로써 실패한다.
• NLA 알고리즘은 MCMC 표본의 kd-트리 분할을 통해 사후 밀도가 높은 잘 샘플링된 부분집합 Ωₛ로 적분을 제한함으로써 절단 오차를 감소시킨다.
• VTA 알고리즘은 사후 분포 기반의 셀 확률과 대표적 필드 값으로 테셀레이션된 파라미터 공간에서 직접 적분을 수행하여 HMA에서 발생하는 수렴 문제를 제거한다.
• 수치 실험 결과, NLA와 VTA 모두 HMA와 라플라스 근사보다 다양한 테스트 문제에서 편향과 분산 측면에서 뛰어난 성능을 보였다.
• VTA는 절단 임계값 h∗가 없고, 내재적으로 안정적이며 고차원 공간에서도 일관된 성능을 보이므로 NLA보다 선호된다.
• 실제 적용에서 주변 가능도 추정의 신뢰성을 확보하기 위해 NLA와 VTA의 병행 사용을 일관성 검증 수단으로 권장한다.