[논문 리뷰] Importance sampling methods for Bayesian discrimination between embedded models

Jean‐Michel Marin, Christian P. Robert|ArXiv.org|2009. 10. 13.

Statistical Methods and Bayesian Inference참고 문헌 21인용 수 49

한 줄 요약

이 논문은 베이지안 모델 비교에서 사전 분포가 포함된 모형(예: 프로비트 회귀)에서 베이즈 요인을 근사하기 위한 중요도 표본 추출 방법을 평가한다. 크루드 몬테카를로, 중요도 표본 추출, 다리 표본 추출, 조화 평균, 치비의 방법을 비교하여, 피마 내시안 당뇨병 데이터셋에서는 중요도 표본 추출과 그 조화 평균 변형이 매우 효율적임을 발견했으며, 치비의 방법은 느리지만 신뢰할 수 있는 백업 방법으로 기능함을 확인했다.

ABSTRACT

This paper surveys some well-established approaches on the approximation of Bayes factors used in Bayesian model choice, mostly as covered in Chen et al. (2000). Our focus here is on methods that are based on importance sampling strategies rather than variable dimension techniques like reversible jump MCMC, including: crude Monte Carlo, maximum likelihood based importance sampling, bridge and harmonic mean sampling, as well as Chib's method based on the exploitation of a functional equality. We demonstrate in this survey how these different methods can be efficiently implemented for testing the significance of a predictive variable in a probit model. Finally, we compare their performances on a real dataset.

연구 동기 및 목표

• 베이지안 선택에서 베이즈 요인을 근사하기 위한 다양한 몬테카를로 방법의 성능을 평가하고 비교하는 것.
• 실제 프로비트 모형 설정에서 중요도 표본 추출, 다리 표본 추출, 조화 평균, 치비의 방법의 효율성과 정확도를 평가하는 것.
• 통합 모형에서 베이지안 모형 식별을 위한 가장 효과적인 방법을 선택하는 데 실용적인 지침을 제공하는 것.
• 내부 모형 시뮬레이션 기법이 복잡한 이차원을 넘는 MCMC 방법 없이도 효과적으로 베이즈 요인을 계산할 수 있음을 보여주는 것.

제안 방법

• 우도 밀도를 제안 분포로 사용하여 중요도 표본 추출을 통해 주변 가능도를 추정한다.
• 표준 중요도 표본 추출보다 정확도를 향상시키기 위해 의사사후분포를 구성함으로써 다리 표본 추출을 적용한다.
• 높은 분산이 알려져 있으나 기준으로 사용된 조화 평균 추정기를 활용한다.
• 단일 점에서의 사후 밀도 추정치를 기반으로 한 함수 항등식과 레이드-블랙웰라이즈드 MCMC 추정치를 활용해 치비의 방법을 사용한다.
• 사후 계산과 치비의 근사치를 용이하게 하기 위해 프로비트 모형의 잠재 변수 표현을 활용한다.
• 각 방법의 변동성과 성능을 실증적으로 평가하기 위해 100회의 반복을 수행한 몬테카를로 실험을 실시한다.

실험 결과

연구 질문

• RQ1 다양한 중요도 표본 추출 기반 방법들이 통합 모형에서 베이즈 요인을 근사할 때 정확도와 계산 효율성 측면에서 어떻게 비교되는가?
• RQ2 피마 내시안 당뇨병 데이터셋을 활용한 프로비트 모형 맥락에서 다리 표본 추출과 중요도 표본 추출의 상대적 성능은 어떠한가?
• RQ3 기타 방법이 실패하거나 불안정할 경우 치비의 방법이 베이즈 요인 근사에 신뢰할 수 있는 기준이 될 수 있는가?
• RQ4 잠재 변수 표현의 사용이 프로비트 모형에서 사후 밀도 추정의 정확도를 어떻게 향상시키는가?
• RQ5 실제 데이터셋에서 다양한 몬테카를로 방법에 따라 주변 가능도 근사치가 얼마나 달라지는가?

주요 결과

• 중요도 표본 추출과 그 조화 평균 변형이 가장 높은 효율성을 보였으며, 중요도 표본 추출 추정치는 계산 속도가 현저히 빠르게 나타났다.
• 다리 표본 추정기는 이론적으로 더 강건함에도 불구하고 가장 높은 표준편차(0.1357)를 보여, 높은 변동성을 암시한다.
• 치비의 방법은 중앙값 베이즈 요인 추정치 3.104와 낮은 표준편차(0.0195)를 기록하여 높은 정밀도를 보였지만, 중요도 표본 추출에 비해 효율성이 열 劣하였다.
• 중요도 표본 추정치의 표준편차는 뿐만 아니라 매우 낮은 0.0017이었으며, 반복 실험 간에 뛰어난 안정성을 보였다.
• 이론적 이점이 있었음에도 불구하고, 의사사후분포 구성 시의 근사 오차로 인해 다리 표본 추정기는 이 경우 성능이 열 劣하였다.
• 좋은 사후 근사치가 확보될 경우 중요도 표본 추출이 최선의 선택이 될 수 있으며, 치비의 방법은 신뢰할 수 있는 백업 수단이 될 수 있다.