[논문 리뷰] Implementing Approximate Bayesian Inference using Adaptive Quadrature: the aghq Package

Alex Stringer|arXiv (Cornell University)|2021. 01. 12.

Soil Geostatistics and Mapping참고 문헌 26인용 수 6

한 줄 요약

이 논문은 복잡한 고차원 모델—특히 잠재 가우시안 모델과 제로-과잉 공간 회귀 모델—에서 효율적인 사후 분포 계산을 가능하게 하는 aghq R 패키지를 소개한다. 이는 자동 미분과 라플라스 근사 기반의 TMB 인터페이스를 활용하여 적응형 가우스-에르미트 적분(AGHQ)을 사용한 근사 베이지안 추론을 제공한다. 이 방법은 기존 TMB 사용자에게 최소한의 코드 수정으로 정확한 추론을 달성하며, 감염병 및 천체통계 모델을 포함한 저차원 및 고차원 문제에서 뛰어난 성능을 보인다.

ABSTRACT

The aghq package for implementing approximate Bayesian inference using adaptive quadrature is introduced. The method and software are described, and use of the package in making approximate Bayesian inferences in several challenging low- and high-dimensional models is illustrated. Examples include an infectious disease model; an astrostatistical model for estimating the mass of the Milky Way; two examples in non-Gaussian model-based geostatistics including one incorporating zero-inflation which is not easily fit using other methods; and a model for zero-inflated, overdispersed count data. The aghq package is especially compatible with the popular TMB interface for automatic differentiation and Laplace approximation, and existing users of that software can make approximate Bayesian inferences with aghq using very little additional code. The aghq package is available from CRAN and complete code for all examples in this paper can be found at https://github.com/awstringer1/aghq-software-paper-code.

연구 동기 및 목표

• 복잡한 우도와 고차원성을 지닌 모델을 위한 근사 베이지안 추론을 위한 사용자 友好的 R 패키지를 개발하는 것.
• 이미 존재하는 TMB 기반 추론의 기능을 확장하여, 단순 라플라스 근사가 아닌 AGHQ를 통해 전체 사후 분포 근사를 가능하게 하는 것.
• INLA나 MCMC와 같은 표준 패키지로는 어려운 모델—예를 들어 제로-과잉 지구통계 및 과분산 카운트 모델—을 다루는 것.
• 정확한 사후 분포 계산이 불가능한 모델에 대해 MCMC 및 기타 방법의 확장 가능한 효율적 대안을 제공하는 것.

제안 방법

• 적응형 가우스-에르미트 적분(AGHQ)을 사용하여 사후 모드와 곡률을 기반으로 적분 노드와 가중치를 이동 및 스케일링하여 근사된 주변 우도를 계산한다.
• TMB 패키지와 통합되어 자동 미분 및 라플라스 근사 인프라를 재사용하여 비정규화된 로그-사후분포와 그 기울기를 효율적으로 계산한다.
• aghq 패키지는 TMB의 MakeADFun을 사용해 라플라스 근사 하에 주변 로그-우도를 반환하는 템플릿 함수를 생성하며, 이를 aghq::marginal_laplace_tmb에 전달하여 AGHQ로 정밀화한다.
• 고차원 모델의 경우, 증가하는 적분 포인트 수를 가진 여러 AGHQ 평가를 통해 주변 라플라스 근사가 복원되며, 과도한 계산 비용 없이 정확도가 향상된다.
• 잠재 가우시안 과정, 제로-과잉, 과분산을 모델링하기 위해 우도를 점질량과 이항 성분의 혼합형으로 모델링함으로써 다양한 모델을 지원한다.
• 기존 TMB 코드와의 후행 호환성을 고려하여 설계되어, 근사 베이지안 추론을 추가하기 위해 최소한의 수정만으로도 가능하도록 한다.

실험 결과

연구 질문

• RQ1 MCMC가 계산적으로 금기인 고차원 비가우시안 모델에서 적응형 적분이 주변 우도를 효과적으로 근사할 수 있는가?
• RQ2 복잡한 공간 및 카운트 모델에 대해 AGHQ 기반 추론은 정확도와 계산 효율성 측면에서 MCMC, INLA, MCML와 비교해 어떻게 성능을 내는가?
• RQ3 aghq 패키지는 TMB 기반 추론의 범위를 단순 라플라스 근사에서 전체 베이지안 사후 추론으로 확장할 수 있는 정도는 어느 정도인가?
• RQ4 AGHQ는 INLA나 표준 GLMM에 호환되지 않는 제로-과잉 및 과분산 카운트 데이터 모델을 다룰 수 있는가?
• RQ5 유사한 사후 커버리지 및 점 추정을 달성할 때 AGHQ의 계산 비용은 MCMC 대비 얼마나 되는가?

주요 결과

• Loa loa 감염병 모델에서 AGHQ는 공간 범위 $\rho$에 대해 45.4에서 87.5 km의 사후 구간을 도출하였으며, MCMC 결과(48.4에서 95.8 km)와 유사했고, 실행 시간은 훨씬 빠름(195초 대비 2520초).
• 제로-과잉 지구통계 이항 모델에서 AGHQ는 전파($p$)와 적합성($\rho$) 확률을 성공적으로 추정하였으며, 이는 비잠재-가우시안 구조로 인해 INLA로는 처리가 불가능한 문제였다.
• MCML의 경우 36.2초, INLA의 경우 42.7초를 기록한 반면 AGHQ는 195초 내로 완료되어 정확도와 속도 사이의 유리한 트레이드오���을 보였다.
• 다중 적분 포인트를 사용한 AGHQ는 주변 라플라스 근사를 복원하여 고차원 잠재 가우시안 모델에서 확장 가능한 추론을 가능하게 하였다.
• 은하수 질량 모델과 과분산 카운트 데이터에서 다른 방법이 실패하거나 광범위한 튜닝이 필요한 상황에서도 AGHQ는 정확한 사후 추정을 달성하였다.
• TMB와의 통합 덕분에 AGHQ는 최소한의 코드 수정으로 적용 가능하여 복잡한 계층 모델에서 빠른 프로토타이핑과 추론이 가능해졌다.