[论文解读] Integrating Physiological Time Series and Clinical Notes with Transformer for Early Prediction of Sepsis

Yuqing Wang, Yun Zhao+2 more|arXiv (Cornell University)|Mar 28, 2022

Machine Learning in Healthcare被引用 6

一句话总结

该论文提出了一种多模态Transformer模型，通过整合多变量生理时间序列和临床记录，实现在ICU入院后36小时内早期预测脓毒症。通过使用ClinicalBERT处理临床记录，利用时间序列编码器处理生理数据，该模型在MIMIC-III和eICU-CRD数据集上实现了最先进性能，所有指标均优于六个基线模型，在eICU-CRD数据集上36小时时的AUROC达到0.882。

ABSTRACT

Sepsis is a leading cause of death in the Intensive Care Units (ICU). Early detection of sepsis is critical for patient survival. In this paper, we propose a multimodal Transformer model for early sepsis prediction, using the physiological time series data and clinical notes for each patient within $36$ hours of ICU admission. Specifically, we aim to predict sepsis using only the first 12, 18, 24, 30 and 36 hours of laboratory measurements, vital signs, patient demographics, and clinical notes. We evaluate our model on two large critical care datasets: MIMIC-III and eICU-CRD. The proposed method is compared with six baselines. In addition, ablation analysis and case studies are conducted to study the influence of each individual component of the model and the contribution of each data modality for early sepsis prediction. Experimental results demonstrate the effectiveness of our method, which outperforms competitive baselines on all metrics.

研究动机与目标

• 通过整合异构的电子健康记录（EHR）数据模态——生理时间序列和非结构化临床记录，提升ICU中早期脓毒症预测能力。
• 解决单模态方法中数据异质性和信息缺失的挑战。
• 开发一种统一的深度学习框架，同时捕捉时间动态和临床上下文信息。
• 在真实重症监护数据集上验证模型相对于单模态和多模态基线的优越性。
• 通过分析临床记录中的注意力机制和生理数据的特征分布，提升模型可解释性。

提出的方法

• 一个多模态Transformer编码器使用独立的编码器处理多变量生理时间序列（MPTS）和临床记录。
• 生理时间序列通过可学习的位置编码进行嵌入，并通过前馈网络处理，以保留时间模式。
• 临床记录通过微调后的ClinicalBERT编码，以捕捉来自医生和护士记录的上下文感知表示。
• 交叉注意力机制使模型能够跨模态关注相关信息，实现临床上下文与生理趋势的融合。
• 最终表示通过池化处理后输入分类头，以预测ICU入院后12至36小时内是否发生脓毒症。
• 模型在MIMIC-III和eICU-CRD数据集上端到端训练，使用带类别权重的二元交叉熵损失以缓解类别不平衡问题。

实验结果

研究问题

• RQ1 多模态Transformer模型能否有效整合生理时间序列和临床记录，以提升早期脓毒症预测性能？
• RQ2 生理数据和临床记录在预测能力方面的独立贡献如何比较？
• RQ3 与单模态基线相比，模态融合对模型性能有何影响？
• RQ4 临床记录中的注意力机制如何反映与脓毒症结局相关的临床相关模式？
• RQ5 哪些独特的生理特征可区分脓毒症与非脓毒症患者，以及它们如何贡献于预测？

主要发现

• 所提出的多模态模型（PTSM + CNM）在eICU-CRD数据集上36小时时的AUROC达到0.882 ± 0.004，优于所有六个基线模型。
• 该模型在eICU-CRD数据集上36小时时的F1得分为0.857 ± 0.003，表明精确率与召回率之间具有良好的平衡。
• 消融实验确认，生理和临床模态分别提供独特且非重叠的信息，两者结合时均能提升性能。
• 注意力可视化显示，临床记录中包含可解释的、与脓毒症相关的关键词，如脓毒症患者中的“非常疼痛”和“背痛”，而“稳定”和“状态良好”则提示非脓毒症。
• 生理特征的密度图显示，脓毒症与非脓毒症患者之间存在明显不同的分布，部分特征（如乳酸、MAP）具有高度判别性，且在记录中未被提及。
• 该模型正确分类了单模态模型误判的患者，证明多模态融合在捕捉复杂互补信号方面的价值。