[논문 리뷰] bamlss : A Lego Toolbox for Flexible Bayesian Regression (and Beyond)

Nikolaus Umlauf, Nadja Klein외 2명|arXiv (Cornell University)|2019. 09. 25.

Statistical Methods and Bayesian Inference참고 문헌 68인용 수 7

한 줄 요약

이 논문은 다양한 분포, 링크 함수, 회귀 스플라인을 '레고처럼' 조합할 수 있는 모듈러하고 확장 가능한 프레임워크를 제공하는 R 패키지 bamlss를 소개한다. 주요 기여는 복잡한 구조적 모델링을 위한 전체 베이지안 추론(후행 분포 계산 및 모델 점검 포함)을 지원하는 통합적이고 확장 가능한 도구상자이다.

ABSTRACT

Over the last decades, the challenges in applied regression and in predictive modeling have been changing considerably: (1) More flexible model specifications are needed as big(ger) data become available, facilitated by more powerful computing infrastructure. (2) Full probabilistic modeling rather than predicting just means or expectations is crucial in many applications. (3) Interest in Bayesian inference has been increasing both as an appealing framework for regularizing or penalizing model estimation as well as a natural alternative to classical frequentist inference. However, while there has been a lot of research in all three areas, also leading to associated software packages, a modular software implementation that allows to easily combine all three aspects has not yet been available. For filling this gap, the R package bamlss is introduced for Bayesian additive models for location, scale, and shape (and beyond). At the core of the package are algorithms for highly-efficient Bayesian estimation and inference that can be applied to generalized additive models (GAMs) or generalized additive models for location, scale, and shape (GAMLSS), also known as distributional regression. However, its building blocks are designed as "Lego bricks" encompassing various distributions (exponential family, Cox, joint models, ...), regression terms (linear, splines, random effects, tensor products, spatial fields, ...), and estimators (MCMC, backfitting, gradient boosting, lasso, ...). It is demonstrated how these can be easily recombined to make classical models more flexible or create new custom models for specific modeling challenges.

연구 동기 및 목표

• 다양한 데이터 유형과 구조를 위한 영리한 베이지안 가감 모델링을 지원하는 모듈러하고 확장 가능한 프레임워크를 개발하는 것.
• 단일 모델링 환경에서 다양한 지수족 분포, 링크 함수, 스무딩 성분을 조합할 수 있도록 하는 것.
• 표준 선형 모형 및 일반화된 선형 모형을 넘어서 영리한 가감 모델링을 위한 확장 가능하고 스케일링 가능한 인프라를 제공하는 것.
• 구조적 가감 예측자, 랜덤 효과, 공간 또는 시계열 성분과 같은 고급 모델링 기능을 지원하는 것.
• 기존 R 베이지안 도구와의 통합을 통해 후행 분포 계산, 모델 점검 및 시각화를 촉진하는 것.

제안 방법

• 각 구성 요소(분포, 링크 함수, 스무딩 항목)를 별도로 선택하고 조합할 수 있는 모듈러 아키텍처를 중심으로 프레임워크가 설계된다.
• 구조적 가감 예측자에 다중 성분(예: 스플라인, 랜덤 효과, 공간 항목)을 포함할 수 있도록 윈용 가능한 선형 예측자 파arameterization을 사용한다.
• 'distributions' 및 'family' 함수를 활용해 광범위한 지수족 분포와 사용자 정의 분포를 지원한다.
• 후행 추론은 MCMC 샘플링을 통해 수행되며, 'MCMC' 및 'stan' 백엔드를 통해 효율적인 계산이 가능하며, Stan을 통한 해밀토니안 몽테카를로(Hamiltonian Monte Carlo)가 포함된다.
• 일관된 인터페이스를 사용해 사용자가 커스텀 구성 요소를 정의할 수 있는 플러그인 아키텍처를 통해 모델 피팅이 이루어진다.
• 표준화된 후행 예측 검증 및 잔차 분석을 통한 모델 점검 및 진단을 지원한다.

실험 결과

연구 질문

• RQ1 다양한 데이터 유형과 구조를 위한 모듈러하고 확장 가능한 프레임워크는 어떻게 설계할 수 있는가?
• RQ2 어떤 아키텍처 원칙이 단일 모델링 환경에서 다양한 분포, 링크 함수, 스무딩 성분을 원활하게 통합할 수 있도록 하는가?
• RQ3 레고처럼 구성된 아키텍처는 통합형 베이지안 모델링 도구에 비해 사용성과 확장성에서 어떻게 향상되는가?
• RQ4 이 프레임워크는 공간, 시간적, 랜덤 효과를 포함한 복잡한 구조적 가감 예측자를 얼마나 잘 지원할 수 있는가?
• RQ5 실제 응용에서 기존의 베이지안 회귀 도구와 비교해 이 프레임워크의 성능 및 확장성은 어떠한가?

주요 결과

• bamlss 패키지는 분포, 링크 함수, 스무딩 성분을 조합할 수 있는 구성 가능한 방식으로 모듈러하고 확장 가능한 프레임워크를 성공적으로 구현하였다.
• 이 프레임워크는 일반화된 가감 모형(가장소, 척도, 형태에 대한 GAMLSS) 및 구조적 가감 회귀 모형을 포함한 광범위한 모델을 지원한다.
• MCMC 및 해밀토니안 몽테카를로를 사용한 후행 추론이 효율적으로 수행되었으며, 벤치마크 예제에서 양호한 수렴성과 혼합 성질을 보였다.
• 일致하고 재현 가능한 결과를 보이며, 공간 효과, 랜덤 효과, 변동 분산 등을 포함한 복잡한 데이터 구조를 모델링할 수 있다.
• 모듈러 설계 덕분에 코드 재사용성과 확장성이 크게 향상되어 핵심 기능을 수정하지 않고도 연구자가 새로운 구성 요소를 구현할 수 있다.
• 고차원 또는 비선형 예측자와 함께 실세계 데이터셋에서도 강력한 성능과 확장성을 보였다.