[论文解读] Improving Early Sepsis Prediction with Multi Modal Learning

Fred Qin, Vivek Madan+5 more|arXiv (Cornell University)|Jul 23, 2021

Machine Learning in Healthcare参考文献 28被引用 6

一句话总结

本文提出了一种多模态深度学习模型，通过结合结构化生命体征和临床文本（如医生和护士的病历记录），利用 BERT 和 Amazon Comprehend Medical 实现早期脓毒症预测。通过利用临床文本的上下文嵌入，该模型在基线方法基础上将预测效用提升 6.07 分，AUROC 提升 2.89%，优于 qSOFA 和 PhysioNet 2019 挑战赛的优胜模型。

ABSTRACT

Sepsis is a life-threatening disease with high morbidity, mortality and healthcare costs. The early prediction and administration of antibiotics and intravenous fluids is considered crucial for the treatment of sepsis and can save potentially millions of lives and billions in health care costs. Professional clinical care practitioners have proposed clinical criterion which aid in early detection of sepsis; however, performance of these criterion is often limited. Clinical text provides essential information to estimate the severity of the sepsis in addition to structured clinical data. In this study, we explore how clinical text can complement structured data towards early sepsis prediction task. In this paper, we propose multi modal model which incorporates both structured data in the form of patient measurements as well as textual notes on the patient. We employ state-of-the-art NLP models such as BERT and a highly specialized NLP model in Amazon Comprehend Medical to represent the text. On the MIMIC-III dataset containing records of ICU admissions, we show that by using these notes, one achieves an improvement of 6.07 points in a standard utility score for Sepsis prediction and 2.89% in AUROC score. Our methods significantly outperforms a clinical criteria suggested by experts, qSOFA, as well as the winning model of the PhysioNet Computing in Cardiology Challenge for predicting Sepsis.

研究动机与目标

• 通过在电子健康记录中整合非结构化临床文本与结构化生理数据，提升早期脓毒症预测能力。
• 评估最先进自然语言处理模型是否能在传统临床评分系统之外提升脓毒症预测性能。
• 比较使用 BERT 和专业医疗 NLP 工具的多模态模型与仅依赖结构化数据的基线模型的性能表现。
• 评估文本特征在危重症环境中对模型可解释性和预测效用的贡献。

提出的方法

• 模型采用多模态输入：数值型生命体征（如心率、血压）和电子健康记录中的临床病历。
• 临床文本通过两种 NLP 方法处理：微调后的 BERT 和 Amazon Comprehend Medical，用于实体抽取和嵌入生成。
• 将文本嵌入与结构化特征拼接后，输入梯度提升树模型（XGBoost）进行最终预测。
• 模型在 MIMIC-III 数据集上进行训练与评估，预测时间范围为脓毒症发作前最多 24 小时。
• 使用 Shapley 值分析特征重要性，评估文本与数值特征对模型输出的贡献。
• 采用效用得分作为主要评估指标，该指标对假阴性结果的惩罚权重高于假阳性。

实验结果

研究问题

• RQ1 与仅使用结构化数据的模型相比，将临床文本整合到多模态模型中是否能显著提升早期脓毒症预测性能？
• RQ2 在从临床病历中提取对脓毒症预测有意义的表示方面，不同 NLP 技术（特别是 BERT 和 Amazon Comprehend Medical）的表现如何比较？
• RQ3 文本特征的整合是否能在临床相关指标（如效用得分和 AUROC）上带来可测量的改进？
• RQ4 通过特征重要性分析，文本特征在多大程度上提升了模型的可解释性和预测置信度？
• RQ5 所提出的模型是否能超越专家设计的临床标准（如 qSOFA）以及以往挑战赛中的最先进机器学习模型？

主要发现

• 整合临床文本的多模态模型相比仅使用结构化数据的基线模型，标准效用得分提升了 6.07 分。
• 与基线相比，该模型在 AUROC 上提升了 2.89%，表明其在区分脓毒症与非脓毒症患者方面具有更强的判别能力。
• 该模型优于广泛应用于临床实践但早期脓毒症检测敏感性较低的 qSOFA 临床标准。
• 文本特征在预测中被列为第三大最具影响力的贡献因素，Shapley 值分析显示其对模型输出具有显著影响。
• 该模型超越了 PhysioNet Computing in Cardiology Challenge 2019 的优胜解决方案，后者仅使用结构化数据。
• 尽管假阳性率相对较高（非脓毒症患者约 30%），但模型的高召回率和低假阴性率使其在效用得分中表现更优，符合临床优先考量。