[논문 리뷰] Bayesian Variable Selection for Multi-Outcome Models Through Shared Shrinkage

Debamita Kundu, Riten Mitra외 1명|arXiv (Cornell University)|2019. 01. 01.

Statistical Methods and Bayesian Inference참고 문헌 26인용 수 34

한 줄 요약

전역-로컬 축소를 다변량 회귀로 확장하여 여러 결과에 영향을 주는 공변량을 식별하고, 세 가지 다결과 축소 모형 및 포스트eriore 일관성 결과를 제공합니다.

ABSTRACT

Variable selection over a potentially large set of covariates in a linear model is quite popular. In the Bayesian context, common prior choices can lead to a posterior expectation of the regression coefficients that is a sparse (or nearly sparse) vector with a few non-zero components, those covariates that are most important. This article extends the global-local shrinkage idea to a scenario where one wishes to model multiple response variables simultaneously. Here, we have developed a variable selection method for a K-outcome model (multivariate regression) that identifies the most important covariates across all outcomes. The prior for all regression coefficients is a mean zero normal with coefficient-specific variance term that consists of a predictor-specific factor (shared local shrinkage parameter) and a model-specific factor (global shrinkage term) that differs in each model. The performance of our modeling approach is evaluated through simulation studies and a data example.

연구 동기 및 목표

• 고차원 다변량 회귀에서 변수 선택의 동기를 제시한다.
• 모델 간 강점을 빌려오도록 K 결과에 걸친 공유 로컬 축소 프레임워크를 개발한다.
• 세 가지 다결과 축소 사전(정규-감마, 해즈스호, Dirichlet-Laplace)을 비교하고 시뮬레이션 및 효모 데이터셋으로 성능을 평가한다.

제안 방법

• GL (global-local) shrinkage priors extended to B for a K-outcome model: beta_jk ~ N(0, lambda_j^2 tau_k^2); lambda_j ~ f(.); tau_k ~ g(.)
• 세 가지 버전을 구체화: 다결과 Normal-gamma (MONG), 다결과 Horseshoe (MOHS), 다결과 Dirichlet-Laplace (MODL).
• 샘플링 체계 제공: 가능한 경우 공액 업데이트; 하이퍼파라미터에 대해 감마/IG 사전; 비공액 블록에 대한 적응적 Metropolis-Hastings 단계.
• 고정된 Psi 및 표준 규칙성 가정(A1–A3) 하에서 포스터리어 일관성을 확립.
• 실용적인 구현 세부사항 및 순진한 모델과 MBSP와의 비교에 대해 논의합니다.

실험 결과

연구 질문

• RQ1 다수의 결과에 걸쳐 로컬 축소 매개변수를 공유하는 것이 다변량 회귀에서 변수 선택과 예측을 개선할 수 있는가?
• RQ2 MONG, MOHS, MODL은 Naive 독립 사전 및 대립 방법에 비해 MSPE와 추정 정확도 측면에서 어떤 성능을 보이는가?
• RQ3 제안된 프레임워크가 각 결과마다 실제 희소성 구조가 달라질 때도 유리한 특성을 유지하는가?
• RQ4 이 모델들의 MCMC 샘플러의 계산적 고려사항과 수렴 특성은 무엇인가?

주요 결과

• 공유 축소 모델은 시뮬레이션 시나리오 전반에서 Naive 모델에 비해 MSPE 및 SSE를 감소시킨다.
• 첫 번째 시뮬레이션에서 MONG, MODL (a=0.5), MOHS, 및 MBSP는 MSPE가 약 1.0에 근접하고, 0이 아닌 계수에 대한 SSE를 Naive 접근법에 비해 크게 낮춘다.
• a=0.5 및 a=1/p인 MODL은 축소와 신호 보존의 균형을 이루어 여러 설정에서 Naive Dirichlet-Laplace보다 우수하다.
• 동일하고 다양한 결과에서 공통으로 축소 정보를 공유하면 0 계수의 SSE가 낮아 변수 선택이 더 잘된다.
• Selection-prior 및 MBSP는 경쟁력 있는 예측 성능을 보이나, MBSP는 tau 고정으로 0 신호의 SSE가 상대적으로 높으며, 제안된 모델은 데이터로부터 글로벌 스케일을 추정한다.