[논문 리뷰] High-Dimensional Bayesian Regularised Regression with the BayesReg Package

Enes Makalic, Daniel F. Schmidt|arXiv (Cornell University)|2016. 11. 21.

Statistical Methods and Inference인용 수 37

한 줄 요약

이 논문은 라소, 호새우, 호새우+와 같은 수축 우선분포를 사용하는 고차원 베이지안 정규화 회귀를 위한 무료이고 오픈소스의 MATLAB 및 R 도구상자인 bayesreg를 소개한다. 이 도구는 은닉 변수 표현을 통한 효율적인 기브스 샘플링을 활용하여, 특히 $ p \gg n $ 인 고차원 설정에서 rstanarm 및 monomvn과 같은 기존 도구보다 최대 40배 빠른 성능을 달성한다. 방법은 정규 또는 무거운 꼬리 오차 모델을 사용하는 선형 및 로지스틱 회귀를 지원한다.

ABSTRACT

Bayesian penalized regression techniques, such as the Bayesian lasso and the Bayesian horseshoe estimator, have recently received a significant amount of attention in the statistics literature. However, software implementing state-of-the-art Bayesian penalized regression, outside of general purpose Markov chain Monte Carlo platforms such as STAN, is relatively rare. This paper introduces bayesreg, a new toolbox for fitting Bayesian penalized regression models with continuous shrinkage prior densities. The toolbox features Bayesian linear regression with Gaussian or heavy-tailed error models and Bayesian logistic regression with ridge, lasso, horseshoe and horseshoe$+$ estimators. The toolbox is free, open-source and available for use with the MATLAB and R numerical platforms.

연구 동기 및 목표

• 스탠과 같은 일반 목적의 MCMC 플랫폼을 초월해 고차원 베이지안 페널티 회귀를 위한 효율적이고 전용 소프트웨어의 부족을 해결하기 위해.
• 최신 수축 우선분포(예: 호새우, 라소)의 계산적으로 효율적인 구현을 제공하여 $ p \gg n $ 조건에서의 고차원 회귀를 가능하게 하기 위해.
• R과 MATLAB에서 선형 및 로지스틱 회귀를 가능하게 하며, 다양한 오차 모델(Gaussian, 무거운 꼬리)과 다수의 수축 우선분포를 지원하는 것을 목적으로 한다.
• 기존 도구의 한계인 느린 수렴, 수치적 불안정성 또는 제한된 적용 가능성(예: 전체질량 설계 행렬)을 극복하기 위해.

제안 방법

• 회귀 계수에 대해 정규 척도 혼합 우선분포를 사용하는 계층 베이지안 모델을 적용하여 국소 및 전역 수축 매개변수를 통해 희박성(스패arsity)을 달성한다.
• 호새우 및 기타 수축 우선분포를 재구성하기 위해 은닉 변수 표현을 활용하여, 조건부 사후 분포 갱신을 통한 효율적인 기브스 샘플링을 가능하게 한다.
• 데이터 증강을 적용한 기브스 샘플링을 통해 회귀 계수, 분산 성분, 초모수를 동시에 샘플링하여 계산적 안정성을 확보한다.
• 같은 수축 우선분포를 사용하여 정규 또는 스튀던트-t 오차 모델을 가진 선형 회귀와 잠재 변수 증강을 통한 로지스틱 회귀를 지원한다.
• 직접적인 행렬 역행렬 계산을 피하는 효율적인 샘플링 알고리즘을 구현하여 $ p \gg n $ 설정으로의 확장성을 확보한다.
• R과 MATLAB 모두에서 사용 가능한 모듈러하고 플랫폼에 종속되지 않는 코드를 제공하며, 고차원 추론을 위한 최적화된 수치 루틴을 구현한다.

실험 결과

연구 질문

• RQ1 일반 목적의 MCMC 플랫폼인 스탠을 초월해 고차원 설정에서 기존 도구보다 뛰어난 성능을 보이는 전용이고 효율적인 소프트웨어 도구상자를 개발할 수 있는가?
• RQ2 bayesreg의 계산 성능와 수렴 속도는 rstanarm 및 monomvn과 같은 기존 도구와 비교해 어떻게 되는가?
• RQ3 수축 우선분포의 잠재 변수 표현이 고차원 회귀에서 샘플링 효율성과 수치적 안정성 향상에 얼마나 기여하는가?
• RQ4 도구상자는 선형 및 로지스틱 회귀에서 다양한 수축 우선분포(예: 호새우, 라소, 호새우+)와 오차 모델(Gaussian, 무거운 꼬리)을 지원할 수 있는가?
• RQ5 고차원 베이지안 수축 회귀에서 기존 샘플링 방법(예: 슬라이스 샘플러, NUTS)의 실용적 한계는 무엇이며, 이를 어떻게 보완할 수 있는가?

주요 결과

• n = 1,000, p = 1,000 조건에서 호새우 사후분포에서 샘플링할 때 bayesreg 도구상자는 monomvn 패키지보다 최대 40배 빠른 성능을 달성한다.
• bayesreg의 MATLAB 버전은 베이지안 호새우 회귀에 대해 약 0.15초 만에 2,000개의 사후 샘플을 계산하는 데에 소요되며, rstanarm는 약 40초가 소요된다.
• bayesreg의 기브스 샘플링 접근법은 직접적인 행렬 역행렬 계산으로 인한 수치적 불안정성을 피하여 $ p \gg n $ 상황에서 적합하다.
• 기존 도구보다 더 넓은 범위의 모델을 지원하며, 많은 현재 구현에서 부재한 베이지안 로지스틱 회귀 및 중무거운 꼬리 오차 모델을 포함한다.
• 잠재 변수 재구성은 유전자 경로와 같은 그룹화된 변수 모델로의 직관적 확장을 가능하게 하며, 타원형 슬라이스 샘플러는 전체질량 설계 행렬이 필요하다는 점과 대비된다.
• 구현은 강력한 사후 수렴을 보이며, 호새우 및 호새우+ 우선분포에서 스탠의 NUTS에서 흔히 관찰되는 발산 전이를 피한다.