[논문 리뷰] Estimating the marginal likelihood with Integrated nested Laplace approximation (INLA)

Aliaksandr Hubin, Geir Storvik|arXiv (Cornell University)|2016. 11. 04.

Statistical Methods and Bayesian Inference참고 문헌 10인용 수 17

한 줄 요약

이 논문은 잠재 가우시안 구조를 가진 베이지안 모델에서 주변 가능도를 추정하기 위해 통합 내재 라플라스 근사(INLA)를 평가하며, 라플라스 근사, 치브의 방법, 조화 평균 추정기와 같은 기존 방법들과 비교한다. INLA는 선형, 로지스틱, 포isson 혼합모형을 포함한 다양한 모형에서 빠르고 정확한 근사치를 제공하며, 특히 기본 설정을 사용할 경우 기준 방법과 강한 일치를 보인다.

ABSTRACT

The marginal likelihood is a well established model selection criterion in Bayesian statistics. It also allows to efficiently calculate the marginal posterior model probabilities that can be used for Bayesian model averaging of quantities of interest. For many complex models, including latent modeling approaches, marginal likelihoods are however difficult to compute. One recent promising approach for approximating the marginal likelihood is Integrated Nested Laplace Approximation (INLA), design for models with latent Gaussian structures. In this study we compare the approximations obtained with INLA to some alternative approaches on a number of examples of different complexity. In particular we address a simple linear latent model, a Bayesian linear regression model, logistic Bayesian regression models with probit and logit links, and a Poisson longitudinal generalized linear mixed model.

연구 동기 및 목표

• 잠재 가우시안 구조를 가진 복잡한 베이지안 모델의 주변 가능도 추정에 대해 통합 내재 라플라스 근사(INLA)의 정확성과 신뢰성 평가.
• 라플라스 근사, 치브 및 절리아조프의 방법, 조화 평균 추정기, 내재 샘플링과 같은 기존 방법들과의 성능 비교를 다양한 모형 유형에서 수행.
• INLA의 기본 설정이 베이지안 모형 선택 및 모형 평균화에 충분히 정확한 추정치를 제공하는지 평가.
• MCMC 기반 및 결정론적 근사 방법 대비 INLA의 계산 효율성 평가.

제안 방법

• INLA는 잠재 변수 η의 조건부 사후분포에 대한 가우시안 근사와 함께 초모수 θ에 대한 통합을 통해 주변 가능도를 근사한다.
• 이 방법은 θ에 대한 η의 사후 최빈값과 함께 연합 사후분포에 대한 라플라스 근사를 사용하여 MCMC 샘플링 없이도 빠른 계산을 가능하게 한다.
• 각 모형에 대해 INLA는 ∫ p(y|θ,η,M) / π̃_G(η|y,θ,M) dθ로 주변 가능도를 추정하며, 이는 η* = mode(η|y,θ,M)에서 평가된다.
• 연구는 네 가지 모형 유형에서 실제 및 시뮬레이션 데이터를 사용한다: 선형 잠재 모형, 베이지안 선형 회귀, 프로빗/로짓 링크를 가진 로지스틱 회귀, 포isson 종단적 GLMM.
• 표준 기준 지표를 사용해 비교한다: 주변 가능도의 로그값, 계산 시간, 수렴 행동.
• 민감도 분 析를 통해 튜닝 파라미터를 조정하여 정확성의 탄력성과 향상 가능성을 평가한다.

실험 결과

연구 질문

• RQ1 다양한 모형 유형에서 치브의 방법과 라플라스 근사와 같은 기존 방법들과 비교해 INLA의 주변 가능도 추정 정확도는 어떠한가?
• RQ2 기본 설정을 사용할 경우 INLA는 높은 정확도를 유지하는가, 아니면 신뢰할 수 있는 모형 선택을 위해 파라미터 튜닝과 민감도 검사가 필요한가?
• RQ3 복잡한 모형에서 MCMC 기반 방법인 조화 평균 추정기 및 내재 샘플링 대비 INLA의 계산 효율성은 어떠한가?
• RQ4 잠재 가우시안 구조를 가진 모형에서, 특히 반복 효과가 존재할 경우 INLA는 주변 가능도에 대해 안정적이고 정밀한 추정치를 제공하는가?
• RQ5 진짜 주변 가능도가 해석이 불가능할 경우, INLA는 베이지안 모형 평균화 및 모형 선택에 신뢰할 수 있는가?

주요 결과

• INLA는 테스트한 모든 모형 유형에서 치브 및 절리아조프의 방법, 라플라스 근사와 같은 기준 방법과 매우 일치하는 주변 가능도 추정치를 제공했다.
• 포isson 혼합모형의 경우, INLA는 주변 가능도의 로그값을 -915.61로 추정하였으며, 치브 및 절리아조프의 기준 추정치인 -915.49와 핵심 밀도 추정의 다른 추정치인 -915.23에 매우 가까웠다.
• 조화 평균 추정기는 심각하게 편향된 결과를 보였다 (예: -279.47 대비 -257.23), 이는 높은 변동성과 신뢰성 부족을 시사한다.
• INLA는 라플라스 근사와 유사한 계산 시간을 기록했으며, 포isson 혼합모형의 경우 약 1.85초로, MCMC 기반 방법 대비 매우 빠른 속도를 보였다.
• 모든 예제에서 기본 INLA 설정이 신뢰할 수 있는 추정치를 제공하여, 실용적인 베이지안 모형 선택에는 튜닝이 종종 필요하지 않음을 시사한다.
• 민감도 분석 결과, 튜닝 파라미터 조정으로 정확도를 추가로 향상시킬 수 있었지만, 기본 설정만으로도 대부분의 응용에 충분히 정밀한 수준이었다.