[논문 리뷰] bridgesampling: An R Package for Estimating Normalizing Constants

Quentin F. Gronau, Henrik Singmann외 1명|arXiv (Cornell University)|2017. 10. 23.

Statistical Methods and Bayesian Inference인용 수 11

한 줄 요약

이 논문은 브릿지 샘플링—정확하고 일반적인 방법—을 사용하여 베이지안 모형 비교에서 정규화 상수(예: 주변 우도)를 추정하는 데 사용되는 bridgesampling R 패키지를 소개한다. 이 방법을 통해 스탠으로 구현된 모형에 대해 정확하고 자동으로 베이즈 요인을 추정할 수 있으며, 실제로 거북이 생존 데이터에 대한 계층적 GLMM에서 BF₀₁ = 1.273의 베이즈 요인을 재현함으로써 성공을 입증하였다.

ABSTRACT

Statistical procedures such as Bayes factor model selection and Bayesian model averaging require the computation of normalizing constants (e.g., marginal likelihoods). These normalizing constants are notoriously difficult to obtain, as they usually involve high-dimensional integrals that cannot be solved analytically. Here we introduce an R package that uses bridge sampling (Meng & Wong, 1996; Meng & Schilling, 2002) to estimate normalizing constants in a generic and easy-to-use fashion. For models implemented in Stan, the estimation procedure is automatic. We illustrate the functionality of the package with three examples.

연구 동기 및 목표

• 고차원 모형에서 해석적 해법이 불가능한 상황에서 베이지안 추론의 정규화 상수를 추정하는 데 오랫동안 해결되지 않은 과제를 해결하기 위해.
• 비전문가 사용자들이 접근하기 쉽게 하기 위해 브릿지 샘플링을 사용하여 주변 우도를 자동으로 추정하는 사용자 友好的이고 일반적인 목적의 R 패키지를 제공하기 위해.
• 계층적 및 혼합효과 모형과 같은 복잡한 모형에서 베이즈 요인과 사후 모형 확률을 정확하고 효율적으로 계산할 수 있도록 하기 위해.
• 실제 데이터를 사용하여 문헌에 기록된 결과를 재현함으로써 방법의 신뢰성과 정확성을 입증하기 위해.

제안 방법

• 패키지는 브릿지 샘플링을 구현하며, 이는 비정규화된 사후 밀도를 제안 밀도 위에서 가중 평균으로 구성함으로써 정규화 상수를 추정하는 몬테카를로 방법이다.
• 최적의 중요도 샘플링 분포를 선택하여 추정기의 분산을 최소화하는 브릿지 샘플링 항법을 사용한다. 이 분포는 목표 밀도와 밀접하게 유사하다.
• 스탠 모형의 경우, 패키지는 사후 샘플을 자동으로 추출하고 중요도 밀도의 수작업 도출 없이 브릿지 샘플링 추정기를 적용한다.
• 이 방법은 일반 모형과 스탠으로 구현된 모형을 모두 지원하며, rstan 인터페이스를 통해 원활하게 통합된다.
• 알고리즘은 고차원 매개변수 공간에서도 강건하며, 정확성과 안정성 측면에서 단순 몬테카를로나 중요도 샘플링보다 뛰어나다.
• log marginal likelihood를 계산하기 위한 bridge_sampler 등의 함수를 제공하며, 베이즈 요인을 통한 모형 비교를 지원한다.

실험 결과

연구 질문

• RQ1 베이지안 모형의 정규화 상수를 추정하기 위해 브릿지 샘플링을 R 패키지에서 효과적으로 자동화할 수 있는가?
• RQ2 bridgesampling 패키지는 계층적 모형에 대해 문헌에서 확립된 베이즈 요인 결과를 얼마나 정확하게 재현할 수 있는가?
• RQ3 고차원 설정에서 중요도 샘플링이나 조화 평균 추정기와 같은 대안적 방법에 비해 브릿지 샘플링이 얼마나 뛰어나게 성능을 발휘하는가?
• RQ4 비전문가 사용자가 복잡한 모형에서 모형 비교를 위해 이 패키지를 '블랙박스'처럼 사용할 수 있는가?

주요 결과

• bridgesampling 패키지는 거북이 생존 데이터에 대한 프로빗 혼합모형에서 확립된 베이즈 요인 BF₀₁ = 1.273을 성공적으로 재현하여 정확성을 확인하였다.
• 다른 방법들이 종종 실패하거나 높은 분산을 유발하는 고차원 계층적 모형에서도 브릿지 샘플링은 주변 우도의 안정적이고 정밀한 추정을 제공한다.
• 상대적으로 적은 수의 사후 샘플로도 높은 정확도를 달성하여 실용적인 베이지안 모형 비교에 있어 계산적으로 효율적이다.
• 스탠과의 통합 덕분에 사용자 입력을 최소화하면서도 주변 우도의 완전 자동 추정이 가능하여, 베이지안 모형 비교의 접근 장벽을 크게 낮춘다.
• 특히 복잡한 모형에서 정밀도와 강건성 측면에서 단순 추정기인 난수 몬테카를로나 중요도 샘플링보다 패키지가 뛰어난 성능을 보였다.