[论文解读] Integrated multimodal artificial intelligence framework for healthcare applications

Luis R. Soenksen, Yu Ma+8 more|arXiv (Cornell University)|Feb 25, 2022

Machine Learning in Healthcare被引用 10

一句话总结

本文提出了医学领域的整体人工智能（HAIM）框架，这是一种统一且可泛化的流水线，用于使用表格数据、时间序列数据、文本数据和医学影像数据训练多模态人工智能模型。在包含34,537个样本的多样化临床数据集上评估，HAIM训练的模型在12项预测任务中相比单模态方法性能提升了6%至33%，这些任务包括胸部病理诊断、住院时长预测和48小时死亡率预测，Shapley值分析揭示了不同任务中各模态的贡献差异。

ABSTRACT

Artificial intelligence (AI) systems hold great promise to improve healthcare over the next decades. Specifically, AI systems leveraging multiple data sources and input modalities are poised to become a viable method to deliver more accurate results and deployable pipelines across a wide range of applications. In this work, we propose and evaluate a unified Holistic AI in Medicine (HAIM) framework to facilitate the generation and testing of AI systems that leverage multimodal inputs. Our approach uses generalizable data pre-processing and machine learning modeling stages that can be readily adapted for research and deployment in healthcare environments. We evaluate our HAIM framework by training and characterizing 14,324 independent models based on HAIM-MIMIC-MM, a multimodal clinical database (N=34,537 samples) containing 7,279 unique hospitalizations and 6,485 patients, spanning all possible input combinations of 4 data modalities (i.e., tabular, time-series, text, and images), 11 unique data sources and 12 predictive tasks. We show that this framework can consistently and robustly produce models that outperform similar single-source approaches across various healthcare demonstrations (by 6-33%), including 10 distinct chest pathology diagnoses, along with length-of-stay and 48-hour mortality predictions. We also quantify the contribution of each modality and data source using Shapley values, which demonstrates the heterogeneity in data modality importance and the necessity of multimodal inputs across different healthcare-relevant tasks. The generalizable properties and flexibility of our Holistic AI in Medicine (HAIM) framework could offer a promising pathway for future multimodal predictive systems in clinical and operational healthcare settings.

研究动机与目标

• 开发一种可泛化的端到端框架，用于在临床人工智能系统中整合多种数据模态。
• 实现跨多样化医疗应用的多模态人工智能模型的可扩展训练与评估。
• 使用可解释人工智能技术量化每种数据模态和数据源对预测性能的相对贡献。
• 证明在各种临床任务中，多模态方法相比单模态方法具有持续的性能优势。
• 提供一种可部署、灵活的流水线，适用于临床和医疗运营环境。

提出的方法

• HAIM框架在四种模态（表格、时间序列、文本和医学影像）之间整合了标准化的数据预处理和机器学习建模阶段。
• 支持所有可能的输入模态组合，能够系统性地评估多模态与单模态学习设置的差异。
• 该框架使用统一的流水线在HAIM-MIMIC-MM数据集上训练了14,324个独立模型，该数据集为包含34,537个样本和6,485名患者的多模态临床数据库。
• 在12项预测任务上评估模型性能，包括10种胸部病理诊断、住院时长预测和48小时死亡率预测。
• 计算Shapley值以量化每种模态和数据源对模型性能的贡献，从而实现可解释性与模态重要性分析。
• 该框架设计具有适应性，适用于研究和真实临床部署，强调在各类医疗环境中具备可泛化能力。

实验结果

研究问题

• RQ1 一个统一且可泛化的框架能否有效整合多种临床数据模态，从而提升预测性能？
• RQ2 不同组合的数据模态在多样化临床任务中对模型性能的贡献如何？
• RQ3 在真实医疗应用中，多模态模型相比单模态模型在多大程度上表现更优？
• RQ4 在不同临床任务中，哪些数据模态和数据源对模型性能的贡献最为显著？
• RQ5 像Shapley值这样的可解释人工智能技术能否可靠地量化在多样化医疗预测任务中模态的异质性重要性？

主要发现

• HAIM框架在12项临床预测任务中均实现了相对于单模态模型的一致性能提升，提升幅度在6%至33%之间。
• 多模态模型在诊断10种不同胸部病理、预测住院时长以及估算48小时死亡率方面，显著优于单模态基线模型。
• Shapley值分析揭示了模态重要性的异质性：在病理诊断任务中，影像和文本模态贡献最大；而在死亡率和住院时长预测中，时间序列和表格数据的影响更为显著。
• 该框架在全部14,324种模型配置中均表现出稳健性，证实了其在各种输入组合下的可扩展性和可泛化能力。
• 各数据源的贡献因任务而异，凸显了多模态融合对实现最优性能的必要性。
• HAIM框架提供了一条可部署、可解释且灵活的流水线，适用于临床和医疗运营应用场景。