[论文解读] Bayesian Variable Selection for Multi-Outcome Models Through Shared Shrinkage

Debamita Kundu, Riten Mitra+1 more|arXiv (Cornell University)|Jan 1, 2019

Statistical Methods and Bayesian Inference参考文献 26被引用 34

一句话总结

扩展全局-局部收缩到多变量回归，以识别影响多种结果的共变量，提供三种多结果收缩模型和后验一致性结果。

ABSTRACT

Variable selection over a potentially large set of covariates in a linear model is quite popular. In the Bayesian context, common prior choices can lead to a posterior expectation of the regression coefficients that is a sparse (or nearly sparse) vector with a few non-zero components, those covariates that are most important. This article extends the global-local shrinkage idea to a scenario where one wishes to model multiple response variables simultaneously. Here, we have developed a variable selection method for a K-outcome model (multivariate regression) that identifies the most important covariates across all outcomes. The prior for all regression coefficients is a mean zero normal with coefficient-specific variance term that consists of a predictor-specific factor (shared local shrinkage parameter) and a model-specific factor (global shrinkage term) that differs in each model. The performance of our modeling approach is evaluated through simulation studies and a data example.

研究动机与目标

• 在高维多变量回归中激发变量选择的动机。
• 开发跨K个结果的共享局部收缩框架，以在模型之间借力。
• 比较三种多结果收缩先验（Normal-gamma、horseshoe、Dirichlet-Laplace），并通过仿真和酵母数据集评估性能。

提出的方法

• 提出扩展到K-结果模型的GL（全局-局部）收缩先验：beta_jk ~ N(0, lambda_j^2 tau_k^2)；lambda_j ~ f(.)；tau_k ~ g(.)
• 实现三个版本：多结果Normal-gamma (MONG)、多结果Horseshoe (MOHS)、多结果Dirichlet-Laplace (MODL)。
• 给出采样方案：在可能的地方共轭更新；超参数的gamma/IG先验；对非共轭区块的自适应Metropolis-Hastings步。
• 在固定Psi及标准正则性假设(A1–A3)下建立后验一致性。
• 讨论实际实现细节以及与朴素模型和MBSP的比较。

实验结果

研究问题

• RQ1 跨多个结果共享局部收缩参数是否可以在多变量回归中改善变量选择和预测？
• RQ2 在MSPE和估计准确性方面，MONG、MOHS和MODL相对于朴素独立先验和竞争方法的表现如何？
• RQ3 当真实稀疏结构在各结果之间变化时，所提框架是否仍保持有利性质？
• RQ4 这些模型的MCMC采样器在计算方面的考虑与收敛性如何？

主要发现

• 共享收缩模型相对于朴素模型在模拟场景中降低了MSPE和SSE。
• 在第一组仿真中，MONG、MODL(a=0.5)、MOHS以及MBSP在MSPE方面具有竞争力，且在非零系数的估计中显著降低SSE。
• MODL在a=0.5和a=1/p时平衡了收缩与信号保留，在若干设定中优于朴素Dirichlet-Laplace。
• 在结果相同与不同 predictor 相关性设定下，共享收缩信息可使零系数的SSE更低，表明变量选择更好。
• 选择先验和MBSP提供有竞争力的预测性能，但MBSP由于固定tau在零信号的SSE相对较高，而所提模型从数据中估计全局尺度。