[论文解读] Integrating Physiological Time Series and Clinical Notes with Deep Learning for Improved ICU Mortality Prediction

Satya Narayan Shukla, Benjamin M. Marlin|arXiv (Cornell University)|Mar 24, 2020

Machine Learning in Healthcare参考文献 28被引用 7

一句话总结

本文提出一种晚期融合深度学习模型，整合ICU电子病历中的临床记录与非规则采样的生理时间序列，以提升院内死亡率预测性能。通过插值-预测网络与基于TF-IDF或词嵌入的文本表征方法，该方法表明晚期融合显著优于单模态模型，AUC提升具有统计学意义（p < 0.001）。

ABSTRACT

Intensive Care Unit Electronic Health Records (ICU EHRs) store multimodal data about patients including clinical notes, sparse and irregularly sampled physiological time series, lab results, and more. To date, most methods designed to learn predictive models from ICU EHR data have focused on a single modality. In this paper, we leverage the recently proposed interpolation-prediction deep learning architecture(Shukla and Marlin 2019) as a basis for exploring how physiological time series data and clinical notes can be integrated into a unified mortality prediction model. We study both early and late fusion approaches and demonstrate how the relative predictive value of clinical text and physiological data change over time. Our results show that a late fusion approach can provide a statistically significant improvement in mortality prediction performance over using individual modalities in isolation.

研究动机与目标

• 研究如何联合利用临床记录与生理时间序列数据以提升ICU死亡率预测性能。
• 分析临床文本与生理数据在入院后随时间推移的相对预测价值变化。
• 评估多模态ICU电子病历数据中早期融合与晚期融合策略的优劣。
• 确定在入院时间后引入进展记录是否能提升预测性能。
• 通过重采样与假设检验验证融合模型相对于基线模型的性能提升是否具有统计学显著性。

提出的方法

• 采用插值-预测深度学习架构，对稀疏且非规则采样的生理时间序列进行建模。
• 使用TF-IDF、词袋模型、GloVe嵌入以及通过平均词向量获得的句子级嵌入来表示临床记录。
• 通过在最终预测前拼接文本与时间序列表征实现早期融合，通过合并来自独立模态头的预测实现晚期融合。
• 使用循环网络（LSTM）与一维卷积网络处理顺序性临床文本与时间序列数据。
• 应用词嵌入技术（如GloVe）与主题建模，从非结构化临床记录中提取语义特征。
• 采用五折交叉验证并进行随机训练-验证-测试集划分，以确保评估的稳健性与显著性检验的可靠性。

实验结果

研究问题

• RQ1 在ICU入院后的前48小时内，入院时临床记录的预测价值与生理时间序列数据相比如何？
• RQ2 临床记录与生理时间序列的晚期融合是否优于早期融合或单模态模型的死亡率预测性能？
• RQ3 与仅使用入院记录的模型相比，纳入入院后进展记录是否能提升模型性能？
• RQ4 与各独立模态基线相比，融合模型的性能提升是否具有统计学显著性？
• RQ5 随着更多数据随时间积累，各模态的预测能力如何演变？

主要发现

• 晚期融合方法在AUC方面显著优于仅使用时间序列或仅使用文本的基线模型（p < 0.001）。
• 晚期融合模型在所有时间点的性能均持续优于仅使用文本的基线模型，且随着更多数据的引入，优势进一步扩大。
• 早期融合模型初期表现低于仅使用TF-IDF的文本基线模型，但最终超越该基线，表明早期整合存在延迟收益。
• 仅使用入院时临床文本的预测优势随时间推移而减弱，因更多生理数据逐渐可用。
• 在入院后引入进展记录显著提升模型性能，融合模型的表现优于仅使用入院数据的模型。
• 随着生理与文本数据的逐步加入，融合模型的性能持续稳步提升，表明纵向多模态融合具有显著价值。