[论文解读] Fusion of medical imaging and electronic health records with attention and multi-head machanisms

Cheng Jiang, Yihao Chen+4 more|arXiv (Cornell University)|Dec 22, 2021

Medical Imaging and Analysis被引用 8

一句话总结

本文提出了一种新颖的医学影像与电子健康记录（EHR）融合框架，采用多模态注意力模块和多头机制，集成于门控多模态单元（GMU）中。通过利用EHR数据引导基于CNN的图像特征提取，并实现在多个子空间中的并行融合，该方法在脑室内出血预后预测和阿尔茨海默病分类任务中表现更优，通过更优的任务特定特征选择实现了最先进性能。

ABSTRACT

Doctors often make diagonostic decisions based on patient's image scans, such as magnetic resonance imaging (MRI), and patient's electronic health records (EHR) such as age, gender, blood pressure and so on. Despite a lot of automatic methods have been proposed for either image or text analysis in computer vision or natural language research areas, much fewer studies have been developed for the fusion of medical image and EHR data for medical problems. Among existing early or intermediate fusion methods, concatenation of features from both modalities is still a mainstream. For a better exploiting of image and EHR data, we propose a multi-modal attention module which use EHR data to help the selection of important regions during image feature extraction process conducted by traditional CNN. Moreover, we propose to incorporate multi-head machnism to gated multimodal unit (GMU) to make it able to parallelly fuse image and EHR features in different subspaces. With the help of the two modules, existing CNN architecture can be enhanced using both modalities. Experiments on predicting Glasgow outcome scale (GOS) of intracerebral hemorrhage patients and classifying Alzheimer's Disease showed the proposed method can automatically focus on task-related areas and achieve better results by making better use of image and EHR features.

研究动机与目标

• 解决临床决策支持系统中医学影像与EHR数据融合有限的问题。
• 克服传统早期或中期融合方法依赖特征简单拼接所带来的局限性。
• 使EHR数据能够指导图像特征提取过程中相关图像区域的选择。
• 通过多头机制在多个子空间中学习表示，提升特征融合效果。
• 提升在格拉斯哥预后量表（GOS）和阿尔茨海默病分类等临床预测任务中的性能。

提出的方法

• 引入多模态注意力模块，利用EHR特征在基于CNN的特征提取过程中关注并突出医学图像中的重要区域。
• 通过多头机制增强门控多模态单元（GMU），实现在不同子空间中图像与EHR特征的并行融合。
• 将所提出的注意力与多头模块无缝集成至现有CNN架构中，无需对网络结构进行大规模修改。
• 利用EHR数据作为动态注意力图，调节图像特征学习过程，提升特征的相关性与可解释性。
• 采用可学习的融合机制，根据任务相关性自适应地组合模态特异性特征。
• 使用交叉熵损失在临床数据集上端到端训练模型，用于分类任务。

实验结果

研究问题

• RQ1 EHR数据能否在特征提取过程中有效用于引导选择与任务相关的医学图像区域？
• RQ2 在融合过程中引入多头机制是否相比单头或拼接基线方法能提升性能？
• RQ3 所提出的注意力与多头融合框架是否能在临床预测任务中超越现有最先进方法？
• RQ4 模型的注意力机制在脑室内出血与阿尔茨海默病中是否与临床相关的图像区域对齐？
• RQ5 EHR与影像数据的整合在多大程度上提升了GOS与阿尔茨海默病分类的预测准确性？

主要发现

• 所提方法在脑室内出血患者格拉斯哥预后量表（GOS）预测任务中表现更优，超越基线模型。
• 模型在结合影像与EHR数据后，阿尔茨海默病分类准确率得到提升。
• 注意力机制成功突出脑部MRI扫描中的临床相关区域，增强了模型可解释性。
• 多头融合机制实现了在多个子空间中更鲁棒且多样化的特征表示学习。
• 该框架在GOS预测与阿尔茨海默病分类两项任务中均达到最先进性能。
• 消融实验验证了注意力与多头组件对性能提升均有显著贡献。