[논문 리뷰] Bayesian Sparse Global-Local Shrinkage Regression for Grouped Variables

Zemei Xu, Daniel F. Schmidt외 3명|arXiv (Cornell University)|2017. 09. 13.

Statistical Methods and Inference인용 수 3

한 줄 요약

이 논문은 연속적인 수축 사전분포를 사용하고, 중복 및 다수준 구조를 가진 군집 변수를 위한 베이지안 희소 전역-국지 수축 회귀 모델을 제안하며, 분리된 수축 및 선택(DSS) 프레임워크를 확장하여 희소 군집 선택을 가능하게 한다. 또한 희소 모델을 위한 새로운 자유도 추정기법을 도입하고, 슬랩-스피크 대안 대비 활성 군집 식별 및 예측 정확도에서 뛰어난 성능을 보인다.

ABSTRACT

Most estimates for penalised linear regression can be viewed as posterior modes for an appropriate choice of prior distribution. Bayesian shrinkage methods, particularly the horseshoe estimator, have recently attracted a great deal of attention in the problem of estimating sparse, high-dimensional linear models. This paper extends these ideas, and presents a Bayesian grouped model with continuous global-local shrinkage priors to handle complex group hierarchies that include overlapping and multilevel group structures. As the posterior mean is never a sparse estimate of the linear model coefficients, we extend the recently proposed decoupled shrinkage and selection (DSS) technique to the problem of selecting groups of variables from posterior samples. To choose a final, sparse model, we also adapt generalised information criteria approaches to the DSS framework. To ensure that sparse groups, in which only a few predictors are active, can be effectively identified, we provide an alternative degrees of freedom estimator for sparse Bayesian linear models that takes into account the effects of shrinkage on the model coefficients. Simulations and real data analysis using our proposed method show promising performance in terms of correct identification of active and inactive groups, and prediction, in comparison with a Bayesian grouped slab-and-spike approach.

연구 동기 및 목표

• 복잡한 군집 계층, 특히 중복 및 다수준 구조를 포함한 고차원 선형 모델에서 변수 군집 선택 문제를 해결하기 위해.
• 이산적인 스파이크-슬랩 사전분포를 피하기 위해 연속적인 수축 사전분포를 사용하여 군집 수준 계수의 희소 추정을 가능하게 하는 베이지안 프레임워크를 개발하기 위해.
• 최종 모델의 희소성 보장을을 위해 사후 표본에 DSS 기법을 확장하여 군집 선택을 수행하기 위해.
• 희소 베이지안 선형 모델에서 수축 효과를 고려한 모델 복잡도 측정을 향상시키기 위해 새로운 자유도 추정기법을 제안하기 위해.
• 모의 및 실세계 데이터에서 진짜 활성 군집을 식별하고 높은 예측 정확도를 달성하는 데에 방법의 성능을 평가하기 위해.

제안 방법

• 복잡한 계층적 구조를 가진 군집 간에 민감한 수축을 가능하게 하기 위해 군집 수준 계수에 연속적인 전역-국지 수축 사전분포를 적용한다.
• 사후 표본에 DSS 기법을 적용하여 수축과 선택을 분리함으로써 희소 군집 식별이 가능하도록 한다.
• 수축이 계수 분산에 미치는 영향을 고려한 새로운 자유도 추정기법을 도입하여 모델 복잡도 평가를 향상시킨다.
• DSS 프레임워크 내에서 일반화정보기준(GIC)을 사용하여 사후 표본에서 최종 희소 모델을 선택한다.
• 군집 선택 정확도와 예측 성능 평가를 위해 모의 데이터와 실세계 데이터에 모두 방법을 적용한다.
• 수축에는 사후 평균을, 선택에는 사후 최빈값을 사용하여 전체 사후 분포를 활용해 강건한 추론을 수행한다.

실험 결과

연구 질문

• RQ1 연속적인 전역-국지 수축 사전분포는 고차원 회귀에서 중복 및 다수준 군집 구조를 효과적으로 다룰 수 있는가?
• RQ2 베이지안 군집 모델의 사후 표본에 DSS 프레임워크를 적용했을 때 군집 선택 정확도는 어떻게 향상되는가?
• RQ3 제안된 자유도 추정기법은 희소 베이지안 선형 모델에서 모델 복잡도를 더 정확하게 측정하는 데 기여하는가?
• RQ4 진짜 활성 군집을 식별하고 결과를 예측하는 데에 베이지안 슬랩-스피크 방법과 비교했을 때 이 방법은 어떻게 성능을 내는가?
• RQ5 수축은 계수 분산에 어떤 영향을 미치며, 이를 자유도 추정에서 적절히 반영할 수 있는가?

주요 결과

• 제안된 방법은 베이지안 군집 슬랩-스피크 방법 대비 활성 및 비활성 군집을 더 정확하게 식별하는 데 뛰어난 성능을 보였다.
• 모의 및 실세계 데이터 환경 모두에서 슬랩-스피크 기준선을 능가하는 강력한 예측 정확도를 보였다.
• 새로운 자유도 추정기법은 수축이 모델 복잡도에 미치는 영향을 효과적으로 반영하여 선택 신뢰도를 향상시켰다.
• DSS 기반 선택 프레임워크는 중복 및 계층적 군집 구조가 존재하는 상황에서도 사후 표본으로부터 희소 군집 구조를 성공적으로 식별하였다.
• 모의 실험을 통해 다양한 희소성 및 상관관계 조건에서 높은 참양성과 참음성 비율을 유지함을 확인하였다.
• 실세계 데이터 분석 결과, 특히 복잡한 군집 구조를 가진 고차원 환경에서 모델 선택 및 예측 성능에 일관된 향상이 관찰되었다.