[论文解读] Adaptive Bayesian SLOPE -- High-dimensional Model Selection with Missing Values

Wei Jiang, Małgorzata Bogdan+4 more|arXiv (Cornell University)|Sep 14, 2019

Statistical Methods and Bayesian Inference参考文献 32被引用 5

一句话总结

该论文提出了一种新型贝叶斯变量选择方法——自适应贝叶斯SLOPE（ABSLOPE），用于处理具有缺失协变量的高维线性模型。通过结合SLOPE的FDR控制排序l1惩罚与Spike-and-Slab LASSO的层次先验结构，ABSLOPE利用随机近似期望最大化（SAEM）算法，实现了变量选择、参数估计与缺失数据填补的联合处理，在模拟数据和真实创伤数据中均表现出优异的统计功效、FDR控制能力以及较低的估计偏差。

ABSTRACT

We consider the problem of variable selection in high-dimensional settings with missing observations among the covariates. To address this relatively understudied problem, we propose a new synergistic procedure -- adaptive Bayesian SLOPE -- which effectively combines the SLOPE method (sorted $l_1$ regularization) together with the Spike-and-Slab LASSO method. We position our approach within a Bayesian framework which allows for simultaneous variable selection and parameter estimation, despite the missing values. As with the Spike-and-Slab LASSO, the coefficients are regarded as arising from a hierarchical model consisting of two groups: (1) the spike for the inactive and (2) the slab for the active. However, instead of assigning independent spike priors for each covariate, here we deploy a joint "SLOPE" spike prior which takes into account the ordering of coefficient magnitudes in order to control for false discoveries. Through extensive simulations, we demonstrate satisfactory performance in terms of power, FDR and estimation bias under a wide range of scenarios. Finally, we analyze a real dataset consisting of patients from Paris hospitals who underwent a severe trauma, where we show excellent performance in predicting platelet levels. Our methodology has been implemented in C++ and wrapped into an R package ABSLOPE for public use.

研究动机与目标

• 解决现有方法常被忽视的协变量部分缺失背景下的高维变量选择挑战。
• 构建一个统一的贝叶斯框架，联合处理变量选择、参数估计与缺失数据填补。
• 将SLOPE的FDR控制特性与Spike-and-Slab LASSO的自适应收缩及稀疏性诱导能力相结合，以提升选择准确性与估计效率。
• 确保在预测变量间存在相关性、且在非正交设计下存在缺失值时仍具备稳健性，并保持FDR控制。
• 通过SAEM与SLOBE算法实现计算高效，便于在大规模数据场景中实际应用。

提出的方法

• 提出一种层次先验结构，其中回归系数服从由零（spike）与非零（slab）分布组成的混合分布，且spike部分通过联合SLOPE先验结构化，以控制错误发现率（FDR）。
• 将缺失协变量视为潜变量，采用随机近似期望最大化（SAEM）算法以最大化惩罚后的观测似然，通过迭代采样潜变量并更新参数实现。
• 在模拟步骤中，基于层次模型推导的条件后验分布，采样潜变量，包括包含指标γ、全局收缩参数c以及局部收缩参数θ。
• 在最大化步骤中，利用完整数据（观测值+填补的缺失值）计算β、σ²、μ与Σ的最大似然估计（MLE），并采用自适应步长以确保收敛。
• 提出SLOBE，作为ABSLOPE的快速近似版本，用基于期望的填补替代完整的MCMC采样，显著降低计算时间，同时保持精度。
• 使用弹性网络或Spike-and-Slab LASSO进行初始化，并通过主成分分析（PCA）或均值填补法对初始缺失值进行填补，以提升收敛性。

实验结果

研究问题

• RQ1 在协变量缺失的高维回归中，贝叶斯变量选择方法能否有效控制错误发现率（FDR）？
• RQ2 在缺失数据条件下，联合SLOPE的spike先验相较于独立spike先验，在FDR控制与估计偏差方面有何改进？
• RQ3 在不同信号强度、稀疏性与缺失机制的多样化模拟场景中，该方法在保持高统计功效与低估计偏差方面表现如何？
• RQ4 在数据不完整时，与LASSO、自适应LASSO及Spike-and-Slab LASSO等现有方法相比，ABSLOPE在变量选择准确率与预测性能方面表现如何？
• RQ5 该方法能否高效扩展至包含缺失值的真实高维数据集（如临床创伤数据）？

主要发现

• ABSLOPE在所有模拟场景中均实现了稳健的FDR控制，即使在预测变量间存在高相关性及复杂缺失机制下亦然。
• 与竞争方法相比，该方法在低信号强度与高相关性场景中展现出更高的统计功效与更低的估计偏差。
• SLOBE作为ABSLOPE的快速变体，计算时间最高可减少50%，同时保持相近的变量选择准确率与FDR控制能力。
• 在Traumabase数据应用中，ABSLOPE成功以高精度预测血小板水平，识别出具有生物学意义的预测变量，即使存在缺失协变量。
• 该方法对初始化与超参数选择具有鲁棒性，不同θ与c的先验设置下结果均保持稳定。
• R语言包ABSLOPE的实现支持高维缺失数据集的可重复与可扩展分析。