[论文解读] How to Leverage Multimodal EHR Data for Better Medical Predictions?

Bo Yang, Lijun Wu|arXiv (Cornell University)|Oct 29, 2021

Machine Learning in Healthcare参考文献 27被引用 6

一句话总结

本文提出了一种多模态融合框架，整合结构化EHR数据、实验室检测结果和非结构化临床记录，以提升医疗预测性能。通过利用深度学习融合这些异构数据类型，该方法在排除临床记录的最先进模型之上表现更优，证明了文本临床记录在预测性医疗任务中的关键价值。

ABSTRACT

Healthcare is becoming a more and more important research topic recently. With the growing data in the healthcare domain, it offers a great opportunity for deep learning to improve the quality of medical service. However, the complexity of electronic health records (EHR) data is a challenge for the application of deep learning. Specifically, the data produced in the hospital admissions are monitored by the EHR system, which includes structured data like daily body temperature, and unstructured data like free text and laboratory measurements. Although there are some preprocessing frameworks proposed for specific EHR data, the clinical notes that contain significant clinical value are beyond the realm of their consideration. Besides, whether these different data from various views are all beneficial to the medical tasks and how to best utilize these data remain unclear. Therefore, in this paper, we first extract the accompanying clinical notes from EHR and propose a method to integrate these data, we also comprehensively study the different models and the data leverage methods for better medical task prediction. The results on two medical prediction tasks show that our fused model with different data outperforms the state-of-the-art method that without clinical notes, which illustrates the importance of our fusion method and the value of clinical note features. Our code is available at https: //github.com/emnlp-mimic/mimic.

研究动机与目标

• 解决将异构EHR数据类型——结构化数据、实验室检测结果和非结构化临床记录——整合到统一预测框架中的挑战。
• 探究临床记录在先前EHR预处理中常被忽略的情况下，是否以及如何提升医疗预测性能。
• 开发并评估一种多模态深度学习模型，通过融合多种EHR数据源，提升临床预测任务的性能。

提出的方法

• 该方法从MIMIC-III EHR数据中提取临床记录，并使用深度神经网络对其进行编码，以捕捉语义信息。
• 采用多模态融合架构，将结构化数据、实验室结果和临床记录的嵌入表示融合为联合表征。
• 模型利用注意力机制，在预测过程中动态加权不同模态的重要性。
• 采用晚期融合策略，将各模态特定的表征在最终预测头之前进行拼接。
• 该框架在两个临床预测任务上进行端到端训练：院内死亡率预测和住院时长预测。
• 通过MIMIC-III数据集验证该方法，代码已公开发布以确保可复现性。

实验结果

研究问题

• RQ1 当与结构化数据和实验室数据结合时，非结构化临床记录是否能显著提升医疗预测性能？
• RQ2 不同数据模态（结构化、实验室、文本）在个体和联合层面如何分别贡献于预测性能？
• RQ3 在临床任务中，最大化预测准确性的最优多模态EHR数据融合方式是什么？

主要发现

• 所提出的多模态融合模型在院内死亡率和住院时长预测任务上，均优于不包含临床记录的最先进模型。
• 临床记录的引入显著提升了AUC，证明其尽管在先前方法中未被充分利用，却具有很高的预测价值。
• 包含全部三种数据模态（结构化、实验室和临床记录）的模型达到最高性能，证实了多模态融合的优势。
• 注意力机制能有效识别并加权各模态中最具信息量的特征，从而增强模型的可解释性和鲁棒性。
• 消融实验表明，移除临床记录会导致性能显著下降，凸显其在预测中的关键作用。