[논문 리뷰] Bambi: A simple interface for fitting Bayesian linear models in Python

Tomás Capretto, Camen Piho외 4명|arXiv (Cornell University)|2020. 12. 19.

Statistical Methods and Bayesian Inference인용 수 38

한 줄 요약

Bambi는 PyMC 위에서 작동하는 Python 기반의 공식 기반 인터페이스를 제공하여 베이지안 일반화 선형 다층 모델(GLMM)을 쉽게 적합시키고, 회귀, 로지스틱, 및 계층적 모델을 포함한 진단 및 예측을 가능하게 한다.

ABSTRACT

The popularity of Bayesian statistical methods has increased dramatically in recent years across many research areas and industrial applications. This is the result of a variety of methodological advances with faster and cheaper hardware as well as the development of new software tools. Here we introduce an open source Python package named Bambi (BAyesian Model Building Interface) that is built on top of the PyMC probabilistic programming framework and the ArviZ package for exploratory analysis of Bayesian models. Bambi makes it easy to specify complex generalized linear hierarchical models using a formula notation similar to those found in R. We demonstrate Bambi's versatility and ease of use with a few examples spanning a range of common statistical models including multiple regression, logistic regression, and mixed-effects modeling with crossed group specific effects. Additionally we discuss how automatic priors are constructed. Finally, we conclude with a discussion of our plans for the future development of Bambi.

연구 동기 및 목표

• GLMM 적합의 문턱을 낮춰 베이지안 방법의 광범위한 채택을 촉진한다.
• 복잡한 모델 구성을 위해 R의 lme4와 유사한 직관적이고 공식 기반의 인터페이스를 제공한다.
• PyMC와 ArviZ와의 통합을 통해 베이지안 모델의 효율적인 샘플링, 진단, 시각화를 가능하게 한다.
• 다중 회귀, 로지스틱 회귀, 무작위 효과를 가진 계층적 모델 등 다양한 예제를 통해 유연성을 보여준다.
• 기본 사전분포, 추론 워크플로우, 그리고 Bambi 패키지의 향후 개발에 대해 논의한다.

제안 방법

• 베이지안 GLMM를 위한 PyMC 및 ArviZ 위에 구축된 Python 패키지(Bambi)를 도입한다.
• 모형 클래스와 함께 고정 효과와 무작위 효과를 지정하기 위해 R과 유사한 공식 인터페이스를 사용한다.
• 사후 샘플링과 진단을 위한 적응적 다이내믹 해밀토니안 몬테카를로를 사용한다.
• 지정되지 않은 경우 기본 사전분포를 제공하고, plot_priors()를 통해 사전분포를 검사하는 메커니즘을 갖춘다.
• Family 클래스를 통해 다양한 분포 가족(Gaussian, Bernoulli 등)과 연결 함수를 지원한다.
• .predict() 메서드와 ArviZ 시각화를 통해 후방 예측 점검 및 예측을 가능하게 한다.

Figure 1: Density estimates based on 5000 samples from the prior distribution for all the regression coefficients. If the user does not explicitly state the priors to be used for the model parameters, Bambi will choose default prior distributions sensible in a wide range of use cases.

실험 결과

연구 질문

• RQ1 Python에서 공식 유사 인터페이스를 사용하여 베이지안 일반화 선형 다층 모델을 어떻게 편리하게 지정할 수 있을까?
• RQ2 Bambi에서 기본적으로 어떤 사전분포가 사용되며 사용자가 이를 어떻게 맞춤화할 수 있나?
• RQ3 Bambi는 다양한 모델 가족(예: Gaussian, Bernoulli)에 대해 모형 적합, 진단 및 후방 예측 점검을 어떻게 용이하게 하는가?
• RQ4 교차 무작위 효과를 갖는 복잡한 계층적 모델을 사용자가 쉽게 수행하고 모형 출력을 검사할 수 있는가?
• RQ5 사후 불확실성을 포함한 내부 샘플 및 외부 샘플 예측을 위한 워크플로우는 무엇인가?

주요 결과

• Bambi는 합리적인 기본값과 친숙한 공식 구문으로 GLMM을 빠르게 지정하고 적합하게 한다.
• 패키지는 PyMC의 적응적 다이내믹 해밀토니안 몬테카를로를 활용해 전체 사후로부터 샘플링한다.
• 사용자는 ArviZ를 통해 사전분포, 진단 및 사후 요약을 확인할 수 있으며, 트레이스 플롯과 요약 통계를 포함한다.
• .predict() 함수는 새로운 데이터에 대한 사후 평균 예측 및 사후 예측 샘플 생성을 가능하게 한다.
• 여러 무작위 효과(절편 및 기울)를 갖는 계층적 모델을 지정하고 사용자 정의 사전분포로 적합시킬 수 있다.
• 예제는 회귀, 로지스틱 회귀 및 교차 무작위 효과를 보여 주며 사용성 및 모델링 유연성을 보여준다.

Figure 2: HTML representation of an InferenceData object. We can see information is stored into four groups: posterior , log_likelihood , sample_stats , and observed_data. Other groups not shown here are also possible. The posterior group is unfolded showing information like the Dimensions (4 chains