[论文解读] A review and recommendations on variable selection methods in regression models for binary data

Souvik Bag, Kapil Gupta+1 more|arXiv (Cornell University)|Jan 16, 2022

Gene expression and cancer classification被引用 4

一句话总结

本文对二值数据逻辑回归中的16种经典频率学变量选择方法进行了全面综述与实证比较，方法按基于检验、基于惩罚、基于筛选和基于树的四类进行分类。在低维、中等维和高维设置下，针对不同相关结构评估其性能，结果表明SCAD和MCP在高维稀疏模型中表现优异，而Boruta和varSelRF在基因表达数据中表现最优，因其具备更高的预测准确率和更一致的变量选择能力。

ABSTRACT

The selection of essential variables in logistic regression is vital because of its extensive use in medical studies, finance, economics and related fields. In this paper, we explore four main typologies (test-based, penalty-based, screening-based, and tree-based) of frequentist variable selection methods in logistic regression setup. Primary objective of this work is to give a comprehensive overview of the existing literature for practitioners. Underlying assumptions and theory, along with the specifics of their implementations, are detailed as well. Next, we conduct a thorough simulation study to explore the performances of fifteen different methods in terms of variable selection, estimation of coefficients, prediction accuracy as well as time complexity under various settings. We take low, moderate and high dimensional setups and consider different correlation structures for the covariates. A real-life application, using a high-dimensional gene expression data, is also included in this study to further understand the efficacy and consistency of the methods. Finally, based on our findings in the simulated data and in the real data, we provide recommendations for practitioners on the choice of variable selection methods under various contexts.

研究动机与目标

• 提供二值结果逻辑回归中经典频率学变量选择方法的系统综述。
• 在不同维度和相关结构的模拟设置下，评估16种变量选择方法的性能。
• 评估方法的推断准确性（变量选择、系数估计）与预测性能（Brier评分、预测准确率）。
• 基于模拟结果与一个真实高维基因表达数据集，为实践者提供基于证据的推荐建议。
• 识别现有方法的局限性，并提出未来研究方向，包括分组结构与超高维设置。

提出的方法

• 将变量选择方法分为四类：基于检验（如SIVS、VSURF）、基于惩罚（如LASSO、SCAD、MCP、ElasticNet）、基于筛选（如SIS、零筛选）和基于树（如Boruta、varSelRF）。
• 在18种不同设置下开展模拟研究，变化样本量（n）、预测变量数（m）、相关结构（无相关、等相关、块相关）和稀疏性（真实预测变量数）。
• 采用标准性能指标：变量选择准确率（如真正例率、错误发现率）、系数估计偏差、预测准确率（Brier评分）和计算时间。
• 使用来自统计遗传学的真实高维基因表达数据集验证结果，重点识别疾病分类中的关键基因。
• 对计算密集型方法（如SIVS、PIMP）采用并行实现，并评估不同n和m值下的时间复杂度。
• 比较推断与预测性能，强调模型稀疏性、准确率与计算可行性之间的权衡。

实验结果

研究问题

• RQ1 在低维、中等维和高维设置下，不同变量选择方法在变量选择准确率、系数估计与预测性能方面表现如何？
• RQ2 预测变量之间的相关结构如何影响各方法的性能，特别是在高维场景下？
• RQ3 在高维数据中，哪些方法在模型稀疏性、预测准确率（Brier评分）与计算效率之间达到最佳平衡？
• RQ4 在高维真实基因表达数据中，基于树的方法（如Boruta和varSelRF）与基于惩罚和基于筛选的方法相比表现如何？
• RQ5 在需要详尽列出潜在相关变量的情况下，实践者应在何种情境下优先选择ElasticNet或NTA而非LASSO？

主要发现

• 在低维设置中（n ≫ m），SIVS、最佳子集法和MCP优于其他方法，而LASSO和ElasticNet倾向于选择更多无关变量。
• 在中等维设置中（n ≈ m），最佳子集法和MCP保持强劲表现，SCAD在预测方面快速且准确，但错误发现率略高。
• 在高维设置中（m > n），基于筛选的方法仅选择极少变量，但保持可接受的预测准确率，适用于稀疏模型构建。
• 在高维稀疏模型中，SCAD和MCP的Brier评分最低，且选择的真实预测变量数最恰当，优于LASSO和ElasticNet。
• Boruta和varSelRF在真实基因表达数据中表现出最高的预测准确率，并能一致地选择出重要基因数量，因此在生物应用中尤为理想。
• SIVS、VSURF和PIMP计算成本高昂，尽管理论上有吸引力，但在超高维设置中应避免使用。