[논문 리뷰] Grouping Priors and the Bayesian Elastic Net

Luke Bornn, Raphaël Gottardo외 1명|arXiv (Cornell University)|2010. 01. 22.

Advanced Statistical Methods and Models참고 문헌 10인용 수 16

한 줄 요약

이 논문은 라플라스 사전분포의 희박성과 가우시안 사전분포의 그룹 효과를 결합한 두 가지 새로운 베이지안 사전분포—베이지안 엘라스틱 넷과 Lq 사전분포—를 제안한다. 최적의 수축을 선택하기 위해 교차검증을 사용한 결과, 베이지안 엘라스틱 넷은 예측 정확도와 그룹 성능에서 라플라스 및 가우시안 사전분포를 모두 능가하며, 특히 상관관계가 높고 고차원적인 설정에서 뛰어난 성능을 보인다.

ABSTRACT

In the literature surrounding Bayesian penalized regression, the two primary choices of prior distribution on the regression coefficients are zero-mean Gaussian and Laplace. While both have been compared numerically and theoretically, there remains little guidance on which to use in real-life situations. We propose two viable solutions to this problem in the form of prior distributions which combine and compromise between Laplace and Gaussian priors, respectively. Through cross-validation the prior which optimizes prediction performance is automatically selected. We then demonstrate the improved performance of these new prior distributions relative to Laplace and Gaussian priors in both a simulated and experimental environment.

연구 동기 및 목표

• 높은 상관관계를 가진 예측변수에 대해 유사한 계수를 부여하지 못하는 베이지안 라소(Bayesian Lasso, 라플라스 사전분포)의 그룹 효과 부족 문제를 해결한다.
• 부족한 수축으로 인해 과적합이 발생하는 고차원 설정에서 성능이 열 劣한 가우시안 사전분포의 문제를 해결한다.
• 희박성(라플라스와 유사)과 그룹 효과(가우시안와 유사)를 균형 있게 갖춘 베이지안 사전분포를 개발하여 예측 및 변수 선택 성능을 향상시킨다.
• 시뮬레이션과 실제 데이터를 통해 제안된 사전분포가 예측 정확도와 그룹 일致성 측면에서 기존 방법을 능가함을 입증한다.
• 빈도주의 엘라스틱 넷에 비해 계산적으로 실현 가능하면서도 상관관계가 높은 예측변수 상황에서 뛰어난 성능을 보이는 베이지안 대안을 제공한다.

제안 방법

• L1 및 L2 펜얼티를 계층적 가우시안 혼합을 통해 조합한 새로운 사전분포(베이지안 엘라스틱 넷)를 제안하여, 관련된 변수들의 자동 수축과 그룹화를 가능하게 한다.
• 브릿지 회귀 행동을 달성하기 위해 정규분포의 척도 혼합을 사용하는 Lq 사전분포를 도입하여, 라플라스와 가우시안 특성 사이에서 민감한 수축을 가능하게 한다.
• 특히 Lq 사전분포의 사후분포 근사를 위해 마르코프 체인 몬테카를로(Markov Chain Monte Carlo, MCMC) 기반의 지브스 샘플링과 메트로폴리스-한팅스 단계를 사용한다.
• 예측 성능에 기반하여 최적의 사전분포를 선택하기 위해 교차검증을 적용하여 초모수를 튜닝한다. 이는 데이터 기반의 모델 선택을 보장한다.
• 최대우도추정(MAP)과 사후평균/중위수 추론을 통해 계수의 수축 및 그룹화 행동을 평가한다.
• 모든 방법(최소제곱, 라소, 엘라스틱 넷, 가우시안, 베이지안 라소, Lq, 베이지안 엘라스틱 넷)을 시뮬레이션과 실제 데이터(프로스타트 암 데이터셋)를 통해 비교한다.

실험 결과

연구 질문

• RQ1 고차원 회귀에서 동시에 희박성과 그룹 효과를 달성할 수 있는 베이지안 사전분포를 설계할 수 있는가?
• RQ2 베이지안 엘라스틱 넷의 성능은 빈도주의 엘라스틱 넷 및 기타 베이지안 사전분포와 비교해 예측 정확도와 그룹화 측면에서 어떻게 다른가?
• RQ3 고차원 설정에서 Lq 사전분포는 라플라스 및 가우시안 사전분포보다 더 나은 수축과 변수 선택 성능을 제공하는가?
• RQ4 예측변수의 차원 수와 상관관계가 증가함에 따라 제안된 사전분포의 그룹 효과는 어떻게 행동하는가?
• RQ5 베이지안 엘라스틱 넷은 계산적으로 실현 가능하며, 다른 페널티 회귀 방법에 비해 실생활에서 뛰어난 성능을 보이는가?

주요 결과

• 프로스타트 암 데이터셋에서 베이지안 엘라스틱 넷은 모든 방법 중에서 가장 우수한 예측 성능을 보였으며, 평균제곱오차(MSE)는 0.3874로, Lq 사전분포(0.3838)보다 略적으로 뛰어났다.
• p=100일 때 가우시안 사전분포는 성능이 심각하게 저하되어 고차원의 잡음 변수를 효과적으로 다룰 수 없음을 시사한다.
• 라소와 Lq 사전분포 방법은 신뢰할 수 없는 그룹화를 보였으며, 일부 상관관계가 높은 변수들이 진짜 계수값 ±0.5에서 최대 10 단위 정도 벗어나 있었다.
• 베이지안 엘라스틱 넷은 차원 수가 증가함에 따라 강력한 그룹화 성능을 유지하여, 예측변수 간의 높은 상관관계에 대해 뛰어난 내구성을 보였다.
• 특히 고차원 및 상관관계가 높은 설정에서, 베이지안 엘라스틱 넷은 베이지안 라소와 가우시안 사전분포보다 예측 정확도와 그룹 일치성 측면에서 모두 뛰어난 성능을 보였다.
• 더 높은 계산 비용에도 불구하고, 베이지안 엘라스틱 넷은 예측변수들이 높은 상관관계를 가진다는 가정 하에 전체적으로 가장 효과적인 방법으로 확인되었다.