[논문 리뷰] Integrated Nested Laplace Approximations (INLA)

Sara Martino, Andrea Riebler|arXiv (Cornell University)|2019. 07. 02.

Statistical Methods and Bayesian Inference참고 문헌 35인용 수 11

한 줄 요약

이 논문은 잠재 가우시안 모델(LGMs)에 대한 빠르고 정확한 사후 근사치를 분석적 근사와 수치 적분을 통해 제공하는 결정론적 베이지안 추론 방법인 통합 중첩 라플라스 근사(INLA)를 소개한다. INLA는 느린 MCMC 방법을 계산적으로 효율적인 대안으로 대체하며, 희소 정밀도 행렬과 작은 초모수 벡터(15개 이하)를 가진 모델에 특히 효과적이다. 이는 응용 통계 및 공간 모델링 분야에서 널리 사용 가능한 R-INLA 패키지로 구현되어 있다.

ABSTRACT

This is a short description and basic introduction to the Integrated nested Laplace approximations (INLA) approach. INLA is a deterministic paradigm for Bayesian inference in latent Gaussian models (LGMs) introduced in Rue et al. (2009). INLA relies on a combination of analytical approximations and efficient numerical integration schemes to achieve highly accurate deterministic approximations to posterior quantities of interest. The main benefit of using INLA instead of Markov chain Monte Carlo (MCMC) techniques for LGMs is computational; INLA is fast even for large, complex models. Moreover, being a deterministic algorithm, INLA does not suffer from slow convergence and poor mixing. INLA is implemented in the R package R-INLA, which represents a user-friendly and versatile tool for doing Bayesian inference. R-INLA returns posterior marginals for all model parameters and the corresponding posterior summary information. Model choice criteria as well as predictive diagnostics are directly available. Here, we outline the theory behind INLA, present the R-INLA package and describe new developments of combining INLA with MCMC for models that are not possible to fit with R-INLA.

연구 동기 및 목표

• 잠재 가우시안 모델(LGMs)에서 MCMC의 대안으로 계산적으로 효율적인 방법으로 INLA를 제시하는 것.
• 느린 수렴과 나쁜 믹싱 등의 MCMC의 한계를 해결하기 위해 결정론적 프레임워크를 도입하는 것.
• 복잡한 계층 모델에서 잠재 효과와 초모수의 마진별 사후분포에 대한 정확한 근사치를 가능하게 하는 것.
• 희소 정밀도 행렬의 활용과 효율적 수치 적분을 통해 대규모 LGMs에 대한 베이지안 추론의 적용 가능성을 넓히는 것.
• R-INLA 소프트웨어 생태계 내 통합된 기준과 예측 검증을 통해 모델 선택 및 진단을 지원하는 것.

제안 방법

• LGMs에서 사후 마진별 근사를 위해 분석적 근사와 수치 적분의 조합을 사용하는 것.
• 잠재 가우시안 필드와 초모수의 결합 사후분포에 라플라스 근사를 적용하여 단변량 마진별 근사를 중점적으로 다루는 것.
• 잠재 필드 내 조건부 독립성(마르코프 성질)을 활용하여 정밀도 행렬 Q(θ)의 희소성 확보.
• 부드러운 효과, 랜덤 효과, 공간/시간적 의존성에 대해 가우시안 마르코프 무작위 필드(GMRFs)를 사전분포로 사용하는 것.
• 연속적인 공간 필드를 희소한 GMRFs로 근사하기 위해 SPDE 접근법을 도입하여 매테른 공분산 구조에 대한 효율적 계산을 가능하게 하는 것.
• 근사치의 중첩 구조를 구현: 먼저 초모수 θ의 사후분포를 수치 적분으로 근사한 후, 이를 바탕으로 잠재 변수 x의 사후분포를 근사하는 것.

실험 결과

연구 질문

• RQ1 결정론적 방법이 MCMC보다 빠르게 잠재 가우시안 모델에 대해 정확한 베이지안 추론을 수행할 수 있는가?
• RQ2 계층 모델에서 고차원 사후 적분의 계산 부담을 어떻게 줄일 수 있는가?
• RQ3 INLA가 LGMs에서 MCMC에 비해 신뢰할 수 있는 근사치를 제공하는 조건은 무엇인가?
• RQ4 SPDE 접근법을 어떻게 활용하여 INLA 프레임워크 내에서 연속적인 공간 과정을 효율적으로 모델링할 수 있는가?
• RQ5 INLA는 어떤 시나리오에서 MCMC와 조합되어 표준 LGMs를 초월한 더 복잡한 계층 구조로의 적용 범위를 확장할 수 있는가?

주요 결과

• INLA는 MCMC보다 계산 속도가 수개월에서 수천 배 빠르며, 잠재 가우시안 모델에 대해 매우 정확한 사후 근사치를 제공한다.
• 초모수 벡터 θ의 차원 수가 15개 이하일 경우에 특히 효과적이며, 이는 수치 적분의 제약 때문이다.
• GMRF 사전분포에 의해 유도된 정밀도 행렬 Q(θ)의 희소성 덕분에 효율적인 계산과 대규모 데이터셋에 대한 확장성이 보장된다.
• SPDE 접근법을 통해 매테른 공분산 필드에 대한 근사적인 GMRF 표현이 가능해져 연속적인 공간 의존성의 효율적 모델링이 가능해진다.
• R-INLA는 다양한 우도, 사전분포 및 사용자 정의 모델을 지원하며, 전문 응용 분야를 위한 광범위한 확장 패키지가 존재한다.
• INLA와 MCMC를 조합함으로써 R-INLA에서 직접 지원하지 않는 모델에 대해서도 추론이 가능해져, 더 복잡한 계층적 구조로의 적용 범위가 확장된다.