[论文解读] Deep Multi-modal Fusion of Image and Non-image Data in Disease Diagnosis and Prognosis: A Review

Can Cui, Haichun Yang+7 more|arXiv (Cornell University)|Mar 25, 2022

AI in cancer detection被引用 9

一句话总结

本综述整合了医学影像与非影像数据（如临床、基因组数据）深度融合的最新进展，旨在提升疾病诊断与预后能力。综述概述了端到端学习工作流程，评估了融合架构（早期、晚期、混合）的性能，并指出了在实现稳健、可解释且具有临床可操作性的个性化医疗人工智能系统方面所面临的关键挑战与未来方向。

ABSTRACT

The rapid development of diagnostic technologies in healthcare is leading to higher requirements for physicians to handle and integrate the heterogeneous, yet complementary data that are produced during routine practice. For instance, the personalized diagnosis and treatment planning for a single cancer patient relies on the various images (e.g., radiological, pathological, and camera images) and non-image data (e.g., clinical data and genomic data). However, such decision-making procedures can be subjective, qualitative, and have large inter-subject variabilities. With the recent advances in multi-modal deep learning technologies, an increasingly large number of efforts have been devoted to a key question: how do we extract and aggregate multi-modal information to ultimately provide more objective, quantitative computer-aided clinical decision making? This paper reviews the recent studies on dealing with such a question. Briefly, this review will include the (1) overview of current multi-modal learning workflows, (2) summarization of multi-modal fusion methods, (3) discussion of the performance, (4) applications in disease diagnosis and prognosis, and (5) challenges and future directions.

研究动机与目标

• 应对整合异构医学数据（影像与非影像模态）以实现更客观、定量的临床决策支持的日益增长的需求。
• 系统分析当前医学诊断与预后中多模态学习工作流程。
• 评估各种多模态融合技术在临床环境中的性能与局限性。
• 识别在真实世界医疗应用中部署多模态深度学习所面临的开放性挑战与未来研究方向。
• 为研究人员和临床医生提供最先进的融合方法及其临床意义的全面参考。

提出的方法

• 调查并分类医疗保健中的多模态学习工作流程，包括数据预处理、特征提取与融合策略。
• 将融合方法分类为早期、晚期与混合（中间）融合，分析其在医学背景下的优势与劣势。
• 研究用于建模跨模态交互的深度学习架构，如注意力机制、变换器与图神经网络。
• 回顾处理模态不平衡、缺失数据以及跨异构数据源领域偏移的技术。
• 分析模型可解释性与临床可用性，强调诊断与预后人工智能系统中透明度的必要性。
• 综合分析模型泛化能力、鲁棒性以及在多样化医学数据集与临床任务中的验证表现。

实验结果

研究问题

• RQ1 在医学诊断与预后任务中，不同多模态融合策略（早期、晚期、混合）的表现如何？
• RQ2 将医学影像与非影像数据（如基因组学和电子健康记录）融合时，面临的关键技术与临床挑战是什么？
• RQ3 注意力机制及其他深度学习组件如何改善医疗领域中的跨模态表征学习？
• RQ4 当前多模态医学人工智能系统在模型可解释性、泛化能力与临床部署方面存在哪些局限性？
• RQ5 哪些未来研究方向对推动多模态融合向真实世界临床应用发展最为关键？

主要发现

• 结合早期与晚期融合策略的混合融合方法通常通过平衡模态特异性特征学习与跨模态交互，实现更优性能。
• 基于注意力的融合机制通过在预测过程中动态加权不同模态的重要性，显著提升模型性能。
• 多模态模型在疾病诊断与预后方面始终优于单模态基线模型，尤其在癌症与神经退行性疾病等复杂疾病中表现突出。
• 尽管已取得进展，但许多模型在缺失数据与模态偏移下仍缺乏鲁棒性，凸显了真实世界部署中的关键差距。
• 可解释性仍是主要挑战，目前仅有少数模型能为其预测提供具有临床意义的解释。
• 将基因组与临床数据与医学影像整合，可实现更精准、个性化的风险分层，尤其在肿瘤学与心脏病学领域。