[논문 리뷰] Adaptive Bayesian SLOPE -- High-dimensional Model Selection with Missing Values

Wei Jiang, Małgorzata Bogdan외 4명|arXiv (Cornell University)|2019. 09. 14.

Statistical Methods and Bayesian Inference참고 문헌 32인용 수 5

한 줄 요약

이 논문은 결측 공변수를 동반한 고차원 선형 모델을 위한 새로운 베이지안 변수 선택 방법인 적응형 베이지안 SLOPE(ABSLOPE)를 제안한다. SLOPE의 FDR 제어 기능을 가진 정렬된 l1-패널티와 스파이크-앤드-슬래브 LASSO의 계층적 사전 분포 구조를 융합함으로써, ABSLOPE는 스토하스틱 추정 기반 EM 알고리즘을 통해 동시에 변수 선택, 매개수 추정, 결측치 보정을 수행할 수 있으며, 시뮬레이션과 실제 외상 데이터에서 유의미한 성능을 보여주었다. 특히 검정력, FDR 제어, 추정 편향 측면에서 뛰어난 성능을 발휘한다.

ABSTRACT

We consider the problem of variable selection in high-dimensional settings with missing observations among the covariates. To address this relatively understudied problem, we propose a new synergistic procedure -- adaptive Bayesian SLOPE -- which effectively combines the SLOPE method (sorted $l_1$ regularization) together with the Spike-and-Slab LASSO method. We position our approach within a Bayesian framework which allows for simultaneous variable selection and parameter estimation, despite the missing values. As with the Spike-and-Slab LASSO, the coefficients are regarded as arising from a hierarchical model consisting of two groups: (1) the spike for the inactive and (2) the slab for the active. However, instead of assigning independent spike priors for each covariate, here we deploy a joint "SLOPE" spike prior which takes into account the ordering of coefficient magnitudes in order to control for false discoveries. Through extensive simulations, we demonstrate satisfactory performance in terms of power, FDR and estimation bias under a wide range of scenarios. Finally, we analyze a real dataset consisting of patients from Paris hospitals who underwent a severe trauma, where we show excellent performance in predicting platelet levels. Our methodology has been implemented in C++ and wrapped into an R package ABSLOPE for public use.

연구 동기 및 목표

• 기존 방법에서 자주 간과되는 부분적으로 결측한 공변수가 존재하는 고차원 변수 선택 문제에 대응한다.
• 변수 선택, 매개수 추정, 결측치 보정을 통합적으로 처리하는 베이지안 프레임워크를 개발한다.
• SLOPE의 FDR 제어 기능과 스파이크-앤드-슬래브 LASSO의 적응형 수축 및 희박성 유도 특성을 융합하여 선택 정확도와 추정 효율성을 향상시킨다.
• 예측 변수 간 상관관계에 대한 강건성과 함께, 결측치가 존재하는 비직교 설계 조건에서도 FDR 제어를 유지한다.
• SAEM 및 SLOBE 알고리즘을 통해 계산 효율적인 구현을 제공함으로써, 대규모 데이터 환경에서의 실용적 적용을 가능하게 한다.

제안 방법

• 회귀 계수들이 스파이크(0)와 슬래브(비영) 분포의 혼합 분포를 따르는 계층적 사전 분포를 제안하며, 스파이크 성분은 FDR 제어를 위한 공동 SLOPE 사전 분포로 구성한다.
• 결측 공변수를 은닉 변수로 모델링하고, 관측된 우도에 패널티를 가한 최대우도를 근사하기 위해 스토하스틱 추정 기반 EM(SAEM) 알고리즘을 사용한다. 이 과정에서 은닉 변수를 반복적으로 샘플링하고 매개수를 갱신한다.
• 시뮬레이션 단계에서는 계층 모델에서 유도된 조건부 사후 분포를 기반으로 포함 지표 γ, 전역 수축 매개수 c, 국소 수축 매개수 θ를 포함한 은닉 변수들을 샘플링한다.
• 최대화 단계에서는 관측값과 보정된 결측치를 포함한 완전한 데이터를 기반으로 β, σ², μ, Σ에 대한 최대우도 추정치(MLE)를 계산하며, 수렴을 보장하기 위해 적응형 단계 크기를 사용한다.
• SLOBE를 도입하여 ABSLOPE의 빠른 근사치를 제공하며, 전체 MCMC 샘플링을 기대 기반 보정으로 대체함으로써 계산 시간을 크게 단축시키면서도 정확도를 유지한다.
• 초기화로 엘라스틱 넷 또는 스파이크-앤드-슬래브 LASSO를 사용하고, 초기 결측치는 주성분 분석 또는 평균 보정을 통해 보정하여 수렴 성능을 향상시킨다.

실험 결과

연구 질문

• RQ1 공변수가 결측한 상황에서 고차원 회귀 모델에서 베이지안 변수 선택 방법이 FDR를 효과적으로 제어할 수 있는가?
• RQ2 결측치가 존재할 때, 독립 스파이크 사전 분포에 비해 공동 SLOPE 스파이크 사전 분포가 FDR 제어 및 추정 편향 측면에서 어떻게 향상되는가?
• RQ3 다양한 신호 강도, 희박성, 결측 메커니즘을 가진 다양한 시뮬레이션 환경에서, 제안된 방법이 높은 검정력과 낮은 추정 편향을 유지하는 정도는 어느 정도인가?
• RQ4 결측 데이터가 존재할 경우, LASSO, 적응형 LASSO, 스파이크-앤드-슬래브 LASSO와 같은 기존 방법들과 비교해 ABSLOPE는 변수 선택 정확도와 예측 성능 측면에서 어떤가?
• RQ5 이 방법은 외상 데이터와 같은 실제 고차원 데이터셋에서 결측치가 존재하는 경우에도 효율적으로 확장 가능한가?

주요 결과

• ABSLOPE는 모든 시뮬레이션 환경에서 뛰어난 FDR 제어 성능을 보이며, 예측 변수 간 고도의 상관관계와 다양한 결측 메커니즘 조건에서도 유의미하게 유지된다.
• 특히 낮은 신호 강도 및 고상관관계 조건에서 경쟁 기법들에 비해 뛰어난 검정력과 낮은 추정 편향을 보였다.
• 빠른 변종인 SLOBE는 계산 시간을 최대 50% 감소시키면서도 유사한 선택 정확도와 FDR 제어 성능을 유지하였다.
• Traumabase 응용 사례에서 ABSLOPE는 결측 공변수 존재 조건에서도 높은 정확도로 혈소판 수치를 예측하였으며, 생물학적으로 의미 있는 예측 변수를 성공적으로 식별하였다.
• 초기화 및 하이퍼파rameter 설정에 대해 강건하며, θ와 c에 대한 다양한 사전 설정 조건에서도 결과가 안정적이었다.
• R 패키지 ABSLOPE를 통한 구현은 고차원 데이터셋에서 결측치가 존재하는 경우 재현 가능하고 확장 가능한 분석을 가능하게 하였다.