[论文解读] Lasso based feature selection for malaria risk exposure prediction

Bienvenue Kouwayè, Noël Fonton+1 more|HAL (Le Centre pour la Communication Scientifique Directe)|Nov 4, 2015

Digital Imaging for Blood Diseases被引用 4

一句话总结

本文提出了一种基于Lasso的新型特征选择方法LOLO-DCV，结合双重交叉验证与广义线性模型-Lasso，自动识别疟疾风险暴露预测中的最优预测变量及其交互作用。该方法在提升预测准确率（AUC为78.76）和稳定性的同时，显著降低了计算复杂度，优于传统依赖专家经验的方法，实现了流行病学建模中的机器辅助决策。

ABSTRACT

In life sciences, the experts generally use empirical knowledge to recode variables, choose interactions and perform selection by classical approach. The aim of this work is to perform automatic learning algorithm for variables selection which can lead to know if experts can be help in they decision or simply replaced by the machine and improve they knowledge and results. The Lasso method can detect the optimal subset of variables for estimation and prediction under some conditions. In this paper, we propose a novel approach which uses automatically all variables available and all interactions. By a double cross-validation combine with Lasso, we select a best subset of variables and with GLM through a simple cross-validation perform predictions. The algorithm assures the stability and the the consistency of estimators.

研究动机与目标

• 开发一种自动化、稳定且一致的特征选择方法，用于基于高维环境与家庭变量预测疟疾风险暴露。
• 评估机器学习是否能够辅助或替代流行病学研究中专家主导的变量重新编码与交互作用选择。
• 比较所提出的LOLO-DCV方法与经典后向选择GLM（B-GLM）在预测准确率与模型稳定性方面的表现。
• 评估变量重新编码与村庄层面固定效应对模型性能及预测误差变异性的影响力。
• 展示在具有交互作用的复杂真实世界流行病学数据中，结合Lasso与GLM及双重交叉验证的可行性。

提出的方法

• 该方法采用GLM-Lasso，通过L1范数惩罚对数似然函数，将部分系数收缩至零，实现自动变量选择。
• 采用双重交叉验证（LOLO-DCV）调节正则化参数λ，确保模型稳定性并最小化过拟合。
• 算法探索所有原始变量及其交互作用（p = 136），避免经典方法中不可行的2^136种模型枚举。
• 通过迭代优化计算正则化路径，利用拉普拉斯近似与牛顿-拉夫森法提升数值稳定性。
• 通过交叉验证评估预测性能，使用偏差、平均绝对误差与AUC作为衡量指标。
• 该方法引入村庄层面固定效应，并在交叉验证中使用分层特定的折子，防止数据泄露并确保预测有效性。

实验结果

研究问题

• RQ1 基于Lasso与双重交叉验证的自动化方法是否能在预测疟疾风险暴露方面优于专家主导的变量选择？
• RQ2 包含所有可能交互作用与原始变量对模型性能与稳定性有何影响？
• RQ3 变量重新编码与村庄层面固定效应对预测准确率与误差变异性的影响力如何？
• RQ4 LOLO-DCV方法是否在多次交叉验证折子中实现稳定且一致的特征选择？
• RQ5 机器学习是否能减少在疟疾风险建模中对专家知识的依赖以选择相关预测变量？

主要发现

• LOLO-DCV方法实现了最高预测性能，AUC达到78.76，显著优于参考的B-GLM方法。
• 该方法表现出高度稳定性，最优特征子集在交叉验证迭代中保持一致。
• 预测误差显著降低且在各村庄间变异更小，尤其在高方差地区（如Dohinonko）表现更优。
• LOLO-DCV所选特征集与B-GLM识别出的最佳子集一致，同时检测到此前未被考虑的可解释交互作用。
• 通过在交叉验证中使用分层特定折子，有效防止了数据泄露，确保了性能估计的有效性，优于随机抽样方法。
• 通过利用Lasso与并行化双重交叉验证，显著降低了计算负担，使高维特征选择成为可行。