[论文解读] L1 logistic regression as a feature selection step for training stable classification trees for the prediction of severity criteria in imported malaria

Luca Talenti, Margaux Luck+4 more|arXiv (Cornell University)|Nov 20, 2015

vaccines and immunoinformatics approaches参考文献 9被引用 6

一句话总结

本研究提出了一种新颖的混合方法 L1LR-Tree，该方法在训练分类树之前使用 L1 逻辑回归进行特征选择，以提高在输入性疟疾严重程度预测中的稳定性与准确性。该方法显著优于标准 L1 逻辑回归和未经修剪的分类树，在分类内脏衰竭方面准确率最高达到 93.59%，同时生成稀疏且可解释的规则集，识别出被低估的临床与流行病学预测因子。

ABSTRACT

Multivariate classification methods using explanatory and predictive models are necessary for characterizing subgroups of patients according to their risk profiles. Popular methods include logistic regression and classification trees with performances that vary according to the nature and the characteristics of the dataset. In the context of imported malaria, we aimed at classifying severity criteria based on a heterogeneous patient population. We investigated these approaches by implementing two different strategies: L1 logistic regression (L1LR) that models a single global solution and classification trees that model multiple local solutions corresponding to discriminant subregions of the feature space. For each strategy, we built a standard model, and a sparser version of it. As an alternative to pruning, we explore a promising approach that first constrains the tree model with an L1LR-based feature selection, an approach we called L1LR-Tree. The objective is to decrease its vulnerability to small data variations by removing variables corresponding to unstable local phenomena. Our study is twofold: i) from a methodological perspective comparing the performances and the stability of the three previous methods, i.e L1LR, classification trees and L1LR-Tree, for the classification of severe forms of imported malaria, and ii) from an applied perspective improving the actual classification of severe forms of imported malaria by identifying more personalized profiles predictive of several clinical criteria based on variables dismissed for the clinical definition of the disease. The main methodological results show that the combined method L1LR-Tree builds sparse and stable models that significantly predicts the different severity criteria and outperforms all the other methods in terms of accuracy.

研究动机与目标

• 解决标准分类树在预测输入性疟疾严重程度标准时存在的不稳定性与过拟合问题。
• 通过在树学习前整合 L1 逻辑回归作为特征选择步骤，提升模型的可解释性与鲁棒性。
• 识别出当前世卫组织定义的严重程度标准中未包含的临床相关非传统预测因子，如血清学指标、血小板计数和性别。
• 评估结合 L1LR-Tree 方法是否相较于标准 L1 逻辑回归和未经修剪的分类树，在性能与稳定性方面有所提升。
• 提供一种稀疏的基于规则的模型，以捕捉患者特征中具有区分性的子区域，实现个性化风险预测。

提出的方法

• 对完整数据集应用 L1 逻辑回归（L1LR），利用 1-SE 法则选择最优正则化参数 λ，以识别稳定且稀疏的预测特征集。
• 将 L1LR 选出的特征作为输入，用于训练分类树，从而限制树仅考虑最相关的变量，降低过拟合风险。
• 通过重复运行的 10 折交叉验证训练并评估模型，以评估不同数据划分下的稳定性与性能表现。
• 比较三种模型：标准 L1LR、标准分类树以及所提出的 L1LR-Tree，采用准确率、召回率和稳定性指标进行评估。
• 从最终的 L1LR-Tree 模型中生成可解释的规则集，以识别预测严重程度标准的变量阈值范围及其组合。
• 在两个案例研究中评估模型性能：(1) 区分严重与非严重疟疾；(2) 将严重疟疾进一步细分为严重型与危重型。

实验结果

研究问题

• RQ1 将 L1 逻辑回归用于特征选择与分类树结合（即 L1LR-Tree）是否能显著提升在预测输入性疟疾严重程度时的模型准确率与稳定性，相较于标准 L1LR 和未经修剪的分类树？
• RQ2 L1LR-Tree 模型识别出哪些非传统临床与流行病学变量（如血清学、血小板计数、年龄、性别和白细胞计数）具有预测价值，并可能增强当前世卫组织的严重程度标准？
• RQ3 在类别不平衡的数据集上，L1LR-Tree 方法的表现如何，特别是在区分危重型与严重型疟疾亚型方面？
• RQ4 在交叉验证的各个折中，L1LR-Tree 模型在特征空间中是否能稳定捕捉到具有生物学意义的区分性子区域，表现为规则集的一致性？
• RQ5 通过采用系统化的特征选择步骤替代剪枝，L1LR-Tree 模型在降低过拟合风险和提升可解释性方面是否具有显著优势？

主要发现

• L1LR-Tree 方法在所有模型中准确率最高，在第二个案例研究中对内脏衰竭标准的分类正确率最高达到 93.59%。
• 与标准分类树相比，L1LR-Tree 生成的模型显著更稀疏且更稳定，特征选择在交叉验证各折中的方差更小。
• 该方法成功识别出：无既往疟疾感染史的患者（高加索人种、血清学低/阴性）更易发生神经型疟疾，而有既往感染史的患者（血清学阳性）则更可能发展为内脏衰竭。
• 规则集显示，性别影响血液系统综合征与高寄生虫血症的表现，男性在血小板计数更低、胆红素阈值更高的情况下即表现出症状，而女性则相反。
• 在准确率与稳定性方面，L1LR-Tree 模型均优于标准 L1LR 和未经修剪的分类树，尤其在类别不平衡条件下表现更优。
• 该模型突显了当前世卫组织标准未包含的变量（如血小板计数、年龄、性别、白细胞计数和血清学指标）的预测价值，提示其未来可能被整合进严重程度定义中。