[论文解读] Benchmarking machine learning models on eICU critical care dataset

Seyedmostafa Sheikhalishahi, Vevake Balaraman+1 more|arXiv (Cornell University)|Oct 2, 2019

Machine Learning in Healthcare被引用 5

一句话总结

本文引入了一个基于eICU数据集的公开基准测试套件，用于评估机器学习模型在四种重症监护任务中的表现：死亡率预测、住院时长估计、患者表型分类以及失代偿风险预测。该研究对比了临床模型、基线模型和深度学习模型，结果表明，数值变量和分类变量的处理方式对所有任务的性能均有显著影响。

ABSTRACT

Progress of machine learning in critical care has been difficult to track, in part due to absence of public benchmarks. Other fields of research (such as vision and NLP) have already established various competitions and benchmarks, whereas only recent availability of large clinical datasets has enabled the possibility of public benchmarks. Taking advantage of this opportunity, we propose a public benchmark suite to address four areas of critical care, namely mortality prediction, estimation of length of stay, patient phenotyping and risk of decompensation. We define each task and compare the performance of both clinical models as well as baseline and deep models using eICU critical care dataset of around 73,000 patients. Furthermore, we investigate the impact of numerical variables as well as handling of categorical variables for each of the defined tasks.

研究动机与目标

• 为解决重症监护领域缺乏标准化评估框架的问题，建立一个公开的机器学习基准测试套件。
• 针对四个关键临床任务：死亡率预测、住院时长估计、患者表型分类和失代偿风险预测。
• 利用约73,000名患者的大型eICU数据集，对比临床模型、基线模型和深度学习模型的性能表现。
• 探究数值变量和分类变量处理方式对不同临床任务中模型性能的影响。

提出的方法

• 基准测试套件基于eICU重症监护数据集构建，包含约73,000名患者，具备丰富的纵向ICU数据。
• 定义了四项独立的机器学习任务：死亡率预测、住院时长估计、患者表型分类和失代偿风险预测。
• 评估的模型包括临床模型、传统基线模型（如逻辑回归）以及深度学习架构（如RNNs、Transformers）。
• 数值变量通过标准化或缩放处理，分类变量则采用独热编码或嵌入技术进行编码。
• 性能评估采用标准指标：分类任务使用AUC-ROC，回归任务使用MAE和RMSE，表型分类任务使用调整兰德指数。
• 实验系统性地改变数据预处理策略，以评估其对各类任务中模型性能的影响。

实验结果

研究问题

• RQ1 在使用eICU数据集时，不同机器学习模型在关键重症监护预测任务中的表现如何？
• RQ2 数值变量预处理对重症监护机器学习任务中模型性能的相对影响是什么？
• RQ3 分类变量编码方式的选择如何影响死亡率预测和表型分类任务中的模型性能？
• RQ4 深度学习模型在所定义任务中相对于临床模型和基线模型的性能优势有多大？
• RQ5 哪些数据预处理策略能在多个重症监护预测任务中带来最一致的性能提升？

主要发现

• 在死亡率预测和失代偿风险预测任务中，深度学习模型优于传统基线模型和临床模型，尤其在使用序列建模架构时表现更优。
• 通过嵌入技术对分类变量进行合理处理可显著提升模型性能，尤其在表型分类和死亡率预测任务中效果明显。
• 对数值变量进行标准化处理在所有任务中均能持续提升模型性能，其中对住院时长估计任务的影响最为显著。
• 表型分类性能对预处理选择最为敏感，基于嵌入的方法获得的调整兰德指数显著高于独热编码。
• 基准测试套件揭示，模型性能在不同任务间存在显著差异，其中死亡率预测任务的AUC-ROC得分在所有任务中最高。
• 本研究表明，数据预处理——尤其是对分类特征的处理——是决定模型成功的关键因素，其影响常超过模型架构选择。