[论文解读] Correlated Feature Selection with Extended Exclusive Group Lasso

Yuxin Sun, Benny Chain+2 more|arXiv (Cornell University)|Feb 27, 2020

Statistical Methods and Inference参考文献 24被引用 5

一句话总结

本文提出了一种扩展的独占组Lasso（EGL）方法，结合随机分组、稳定性选择和人工特征，以提升在高维相关生物数据中的特征选择性能。该方法在识别更具信息量的特征方面优于Lasso，尤其在相关性较高的情况下表现更优，实现了高F-measure值，并在合成数据和真实免疫学数据集中均展现出稳健的特征选择能力。

ABSTRACT

In many high dimensional classification or regression problems set in a biological context, the complete identification of the set of informative features is often as important as predictive accuracy, since this can provide mechanistic insight and conceptual understanding. Lasso and related algorithms have been widely used since their sparse solutions naturally identify a set of informative features. However, Lasso performs erratically when features are correlated. This limits the use of such algorithms in biological problems, where features such as genes often work together in pathways, leading to sets of highly correlated features. In this paper, we examine the performance of a Lasso derivative, the exclusive group Lasso, in this setting. We propose fast algorithms to solve the exclusive group Lasso, and introduce a solution to the case when the underlying group structure is unknown. The solution combines stability selection with random group allocation and introduction of artificial features. Experiments with both synthetic and real-world data highlight the advantages of this proposed methodology over Lasso in comprehensive selection of informative features.

研究动机与目标

• 解决Lasso在特征高度相关时无法选择所有信息特征的局限性，这是生物组学数据集中的常见问题。
• 克服生物通路和基因网络中特征相关性结构未知所带来的挑战。
• 开发一种可扩展且高效的独占组Lasso算法，实现组内稀疏性，同时保持组间灵活性。
• 通过结合随机分组、稳定性选择和人工特征，提升高维设置下特征选择的稳定性和准确性。
• 在合成数据和真实世界T细胞受体（TCR）测序数据上验证该方法在CMV状态预测中的有效性。

提出的方法

• 通过ℓ1,2-范数正则化扩展独占组Lasso（EGL）公式，以在组内强制稀疏性，同时允许从不同组中选择多个特征。
• 开发一种结合活动集策略的快速坐标下降算法，以高效求解EGL优化问题。
• 引入随机分组策略，通过在缺乏先验知识时将特征随机分配至组中，以处理未知的底层组结构。
• 应用稳定性选择并结合多次随机分组，以增强选择稳定性并减少假阳性。
• 引入人工特征，通过提供特征重要性估计的基线，提升对真正信息特征的检测能力。
• 将所有组件——随机分组、稳定性选择和人工特征——整合为统一框架：EGL-R(SA)，以实现在不确定性条件下的稳健特征选择。

实验结果

研究问题

• RQ1 在强特征相关性存在的情况下，独占组Lasso是否能有效识别出所有信息特征，尤其是在Lasso失效时？
• RQ2 当真实组结构未知时，随机分组与稳定性选择的结合在多大程度上提升了特征选择性能？
• RQ3 在高维相关数据集中，人工特征的引入在多大程度上增强了对相关特征的检测能力？
• RQ4 与Lasso和标准组Lasso相比，所提出的EGL-R(SA)框架在特征选择准确性和稳定性方面表现如何？
• RQ5 该方法是否能可靠地识别出真实免疫学数据集中具有生物学意义的特征，例如CMV特异性T细胞受体？

主要发现

• 在高相关性（ρ=0.9）的合成示例3中，Lasso仅选择了61%的信息特征（F-measure为0.79），而EGL-R(SA)实现了完美的F-measure值1.00，并选中了82%的信息特征。
• 在低相关性（ρ=0.25）的示例4中，Lasso表现良好（F-measure为0.99），而EGL-R(SA)保持了强劲性能，实现了100%的信息特征选择率且假阳性率更低。
• EGL-R(SA)将无关特征的选择概率降低至均值0.10，低于EGL-R(S)的均值0.12，表明其特异性得到提升。
• 在真实世界的CMV TCR数据中，EGL-R(SA)仅选中了47个TCR（全部在CMV+样本中富集），使用SVM分类准确率达88–89%，优于ℓ1-SVM（选择1950个特征，准确率仅65%）。
• 该方法在独立验证集（Cohort 2和Cohort 3）中表现出高度稳定性和可重复性，表明其在真实世界场景中具备稳健的特征选择能力。
• 人工特征与随机分组的结合使无关特征的选择概率更集中，同时提高了信息特征的选择概率，证实了其更强的判别能力。