[论文解读] MedLens: Improve Mortality Prediction Via Medical Signs Selecting and Regression

Xuesong Ye, Jun Wu+2 more|arXiv (Cornell University)|May 19, 2023

Machine Learning in Healthcare参考文献 26被引用 4

一句话总结

MedLens 通过选择高频、高相关性的医学指标，并采用基于随机森林的插值方法处理缺失的时间序列数据，在 MIMIC-III 数据集上实现了 0.9553 的 AUC-ROC 和 0.8051 的 AUC-PR，显著优于先前的基准模型。

ABSTRACT

Monitoring the health status of patients and predicting mortality in advance is vital for providing patients with timely care and treatment. Massive medical signs in electronic health records (EHR) are fitted into advanced machine learning models to make predictions. However, the data-quality problem of original clinical signs is less discussed in the literature. Based on an in-depth measurement of the missing rate and correlation score across various medical signs and a large amount of patient hospital admission records, we discovered the comprehensive missing rate is extremely high, and a large number of useless signs could hurt the performance of prediction models. Then we concluded that only improving data-quality could improve the baseline accuracy of different prediction algorithms. We designed MEDLENS, with an automatic vital medical signs selection approach via statistics and a flexible interpolation approach for high missing rate time series. After augmenting the data-quality of original medical signs, MEDLENS applies ensemble classifiers to boost the accuracy and reduce the computation overhead at the same time. It achieves a very high accuracy performance of 0.96 AUC-ROC and 0.81 AUC-PR, which exceeds the previous benchmark.

研究动机与目标

• 为解决电子健康记录（EHR）中数据质量差的问题，特别是高缺失率和低相关性医学指标对死亡率预测性能的负面影响。
• 识别并仅保留最具信息量的医学指标——即记录频率高且与死亡率强相关的指标，从而降低模型复杂度与噪声。
• 开发一种基于随机森林回归的新型灵活插值方法，有效重建采样不规则的时间序列中的缺失值。
• 通过结合高质量数据预处理与轻量级集成分类方法，提升预测准确率并降低计算开销。

提出的方法

• 对 MIMIC-III 数据集进行了全面分析，测量了 100 多种医学指标的缺失率与相关性评分，识别出低频和弱相关信号为噪声。
• 实施了一种统计特征选择方法，过滤掉记录频率低且与死亡率相关性弱的长尾医学指标，仅保留高影响力信号。
• 设计了一种基于随机森林回归的插值技术，学习时间模式并在多变量时间序列中填补缺失值，优于基线的前向/后向填充方法。
• 将集成分类器（随机森林与梯度提升）应用于清洗并插值后的时间序列数据，以提升预测准确率并减少计算开销。
• 使用 AUC-ROC 与 AUC-PR 作为主要评估指标，与最先进模型进行性能对比。
• 通过选择随机森林作为最终分类器实现效率优化，因其在速度与准确率之间取得良好平衡，仅用 2.28% 的时间即达到梯度提升模型 97.72% 的准确率。

实验结果

研究问题

• RQ1 EHR 数据中医学指标的缺失率与相关性评分如何影响死亡率预测模型的性能？
• RQ2 通过过滤低频与弱相关医学指标的统计特征选择方法，能否提升预测准确率？
• RQ3 针对高缺失率的时间序列，基于随机森林的插值方法是否能比传统插值技术带来更好的预测性能？
• RQ4 轻量级集成分类器能否在保持高准确率的同时降低死亡率预测任务中的计算成本？

主要发现

• MIMIC-III 数据集中医学指标的整体缺失率极高，许多指标记录频率极低，且与死亡率基本无关。
• 仅需一小部分高频、高相关性的医学指标即可实现极高的预测准确率，表明数据质量比模型复杂度更为关键。
• 所提出的随机森林插值方法显著优于基线前向/后向填充方法，相比 Harutyunyan 等人 [1] 的方法，AUC-ROC 提升 8.5%，AUC-PR 提升 47%。
• MedLens 实现了 0.9553 的 AUC-ROC 与 0.8051 的 AUC-PR，超越 Harutyunyan 等人 [1] 的基准模型（其报告的 AUC-ROC 为 0.87，AUC-PR 为 0.533）。
• 随机森林作为最终分类器，在仅消耗 2.28% 计算时间的情况下，达到了梯度提升模型 97.72% 的准确率，使 MedLens 在大规模部署中具备极高效率。
• 本研究证实，通过特征选择与先进插值技术提升数据质量，即使不修改底层机器学习算法，也能带来显著的性能提升。