[논문 리뷰] JAGS, NIMBLE, Stan: a detailed comparison among Bayesian MCMC software

Mario Beraha, Daniele Falco외 1명|arXiv (Cornell University)|2021. 07. 20.

Markov Chains and Monte Carlo Methods참고 문헌 44인용 수 10

한 줄 요약

이 논문은 JAGS, NIMBLE, Stan—세 가지 주요 베이지안 MCMC 소프트웨어 플랫폼 간의 종합적이고 실증적인 비교를 제공하며, 다양한 모형, 사전분포, 데이터 생성 메커니즘에서의 성능을 평가한다. 연구 결과, 로지스틱 회귀나 AFT 모형과 같은 비공액 모형에서는 스탠이 효율성과 표본 품질 면에서 뛰어나며, 공액 선형 모형에서는 JAGS가 최적이고, 혼합 모형에서는 NIMBLE가 가장 효율적임을 확인하였다.

ABSTRACT

The aim of this work is the comparison of the performance of the three popular software platforms JAGS, NIMBLE and Stan. These probabilistic programming languages are able to automatically generate samples from the posterior distribution of interest using MCMC algorithms, starting from the specification of a Bayesian model, i.e. the likelihood and the prior. The final goal is to present a detailed analysis of their strengths and weaknesses to statisticians or applied scientists. In this way, we wish to contribute to make them fully aware of the pros and cons of this software. We carry out a systematic comparison of the three platforms on a wide class of models, prior distributions, and data generating mechanisms. Our extensive simulation studies evaluate the quality of the MCMC chains produced, the efficiency of the software and the goodness of fit of the output. We also consider the efficiency of the parallelization made by the three platforms.

연구 동기 및 목표

• 다양한 베이지안 모형에 걸쳐 JAGS, NIMBLE, Stan의 성능, 수렴성, 효율성을 체계적으로 평가하기 위해.
• 각 소프트웨어 플랫폼의 MCMC 체인 품질, 샘플링 속도, 병렬 처리 효율성 면에서 장단점 파악을 위해.
• 응용 통계학자와 방법론 연구자들이 특정 모형 작업에 가장 적합한 소프트웨어를 선택하는 데 도움을 주기 위해.
• 다양한 모형 유형과 사전분포에 걸쳐 반복 시뮬레이션을 기반으로 한 강력한 데이터 기반 벤치마크 제공을 위해.
• 모형 유형, 사전분포 구조, 계산 효율성에 기반한 소프트웨어 선택에 대한 실용적 권고 제공을 위해.

제안 방법

• 선형 모형(공액 및 라소 사전분포 포함), 로지스틱 회귀, 가속화된 실패시간(AFT) 모형, 유한한 혼합 모형의 다섯 가지 모형 유형에 걸쳐 광범위한 시뮬레이션 연구 수행.
• 모든 세 플랫폼 간 공정한 비교를 위해 동일한 모형 사양과 MCMC 설정(예: 반복 수, 버닝 인구, 희소화 수준)을 사용.
• MCMC 성능 평가를 위해 핵심 진단 지표인 유효 표본 크기(ESS), 잠재적 청소 비율(가-햇), 샘플링 속도(초당 샘플 수)를 사용.
• 각 모형당 20~50회 반복 시뮬레이션을 통해 결과의 탄력성과 다양한 데이터 실현에서의 성능 변동성 평가.
• 시간 정규화된 유효 표본 크기(ess/Ns)와 샘플링 속도(초당 샘플 수)를 통해 계산 효율성 측정.
• 다중 코어 환경에서의 성능 비교를 통해 병렬 처리 효율성 평가(각 플랫폼이 지원하는 경우).

실험 결과

연구 질문

• RQ1 정규 사전분포를 가진 공액 선형 모형에서 어떤 소프트웨어 플랫폼이 가장 효율적인 MCMC 체인(가장 높은 ESS)을 생성하는가?
• RQ2 정규 사전분포 하에서 로지스틱 회귀 모형에서 JAGS, NIMBLE, Stan의 샘플링 속도와 체인 자기상관성은 어떻게 비교되는가?
• RQ3 비계층적 사전분포를 가진 가속화된 실패시간(AFT) 모형과 같은 복잡한 모형을 다룰 때 세 플랫폼의 상대적 성능는 어떠한가?
• RQ4 사전분포 선택(예: 라소 대비 공액)이 각 소프트웨어 플랫폼의 상대적 효율성과 수렴성에 미치는 영향은 무엇인가?
• RQ5 잠재적 혼합 구조를 가진 모형에서 NIMBLE가 JAGS와 Stan을 능가하는 상황는 언제인가?

주요 결과

• 공액 사전분포를 가진 선형 모형에서는 JAGS와 스탄이 높은 유효 표본 크기(ESS)를 가진 고품질의 MCMC 체인을 생성하지만, NIMBLE는 매우 자기상관성이 높은 체인을 생성한다.
• 공액 선형 모형에서 JAGS는 원시 샘플링 속도가 가장 빠르며(약 900개/초), NIMBLE는 훨씬 느리며(약 2500개/초) 더 낮은 효율성의 체인을 생성한다.
• 정규 사전분포 하에서 로지스틱 회귀 모형에서는 스탄이 55–90%의 ESS 효율성을 달성하지만, JAGS와 NIMBLE는 30% 미만으로 떨어지며, 이는 스탄의 체인이 더 우수한 혼합성과 낮은 자기상관성을 가짐을 시사한다.
• 로지스틱 회귀에서 스탄은 JAGS(400개/초)와 NIMBLE(240개/초)보다 빠르며, 이는 이 모형 유형에서 전체적으로 가장 효율적임을 의미한다.
• 라소 사전분포 하에서 선형 모형에서는 JAGS가 실용적으로 너무 느리며 권장되지 않으며, 스탄은 NIMBLE보다 자기상관성이 낮고 더 빠르므로 선호되는 선택이다.
• 유한한 혼합 모형에서는 NIMBLE가 가장 효율적이며, 약 400개/초의 샘플링 속도를 기록하여 JAGS(120개/초)와 스탄(120개/초)를 크게 앞서며, 속도와 ESS 품질의 최적의 균형을 이룬다.