[论文解读] Machine Learning for Multimodal Electronic Health Records-based Research: Challenges and Perspectives

Ziyi Liu, Jiaqi Zhang+4 more|arXiv (Cornell University)|Nov 9, 2021

Machine Learning in Healthcare参考文献 78被引用 5

一句话总结

本文综述了利用机器学习与深度学习方法整合结构化与非结构化电子健康记录（EHR）数据以提升临床预测任务的研究。分析了94项关于多模态EHR融合的研究，识别出关键技术、数据整合中的挑战，以及未来更精准、更稳健的临床人工智能系统的研究方向。

ABSTRACT

Background: Electronic Health Records (EHRs) contain rich information of patients' health history, which usually include both structured and unstructured data. There have been many studies focusing on distilling valuable information from structured data, such as disease codes, laboratory test results, and treatments. However, relying on structured data only might be insufficient in reflecting patients' comprehensive information and such data may occasionally contain erroneous records. Objective: With the recent advances of machine learning (ML) and deep learning (DL) techniques, an increasing number of studies seek to obtain more accurate results by incorporating unstructured free-text data as well. This paper reviews studies that use multimodal data, i.e. a combination of structured and unstructured data, from EHRs as input for conventional ML or DL models to address the targeted tasks. Materials and Methods: We searched in the Institute of Electrical and Electronics Engineers (IEEE) Digital Library, PubMed, and Association for Computing Machinery (ACM) Digital Library for articles related to ML-based multimodal EHR studies. Results and Discussion: With the final 94 included studies, we focus on how data from different modalities were combined and interacted using conventional ML and DL techniques, and how these algorithms were applied in EHR-related tasks. Further, we investigate the advantages and limitations of these fusion methods and indicate future directions for ML-based multimodal EHR research.

研究动机与目标

• 考察利用机器学习与深度学习技术整合结构化与非结构化EHR数据的方法。
• 识别在临床预测任务中常见的融合策略及其有效性。
• 突出当前多模态EHR研究中的局限性，包括数据质量与模型可解释性问题。
• 全面概述基于多模态EHR的机器学习研究中的方法论趋势与开放性挑战。
• 通过阐明关键研究方向，为未来研究提供指导，以提升模型性能与临床适用性。

提出的方法

• 在IEEE Xplore、PubMed和ACM Digital Library中系统性地检索基于机器学习的多模态EHR研究。
• 纳入94项研究，这些研究同时使用结构化数据（如实验室检查结果、诊断编码）与非结构化数据（如临床记录）。
• 将融合方法在多模态学习流程中归类为早期、晚期与混合集成策略。
• 分析深度学习架构，如早期拼接、注意力机制与晚期融合模型，用于多模态EHR表征学习。
• 评估模型在疾病预测、风险分层与表型识别等临床任务中的性能表现。
• 识别技术与临床挑战，如数据异质性、模态缺失以及模型可解释性问题。

实验结果

研究问题

• RQ1 现有机器学习模型如何结合结构化与非结构化EHR数据以实现临床预测？
• RQ2 在多模态EHR学习中，最有效的融合策略（早期、晚期或混合）是什么？
• RQ3 当前多模态EHR研究中的关键局限性与挑战有哪些？
• RQ4 不同模型架构在使用多模态EHR输入时，于各类临床任务中的表现如何？
• RQ5 哪些未来研究方向最有可能推动基于多模态EHR的临床人工智能发展？

主要发现

• 多项研究显示，结合早期与晚期集成策略的混合融合方法在性能上优于单一模式方法。
• 注意力机制常被用于加权非结构化文本特征的重要性，从而提升模型可解释性与性能。
• 使用结构化与非结构化数据的研究在疾病预测任务中始终优于仅依赖结构化数据的研究。
• 在真实世界的EHR系统中，处理模态间缺失或不一致数据的问题仍具显著挑战。
• 尽管部分模型预测准确率较高，但模型可解释性与临床可用性常被列为局限因素。
• 未来研究应优先发展能够处理数据异质性、支持临床决策实践的稳健且可泛化模型。