[论文解读] Learning Cross-Modal Deep Representations for Multi-Modal MR Image Segmentation

Cheng Li, Hui Sun+4 more|arXiv (Cornell University)|Aug 6, 2019

Advanced Neural Network Applications参考文献 13被引用 4

一句话总结

本文提出了一种基于注意力引导、主模态驱动的信息选择的监督跨模态特征融合方法，用于多模态磁共振图像分割。通过利用主模态（如T1增强MRI）引导注意力机制融合辅助模态（如T2加权MRI），该方法通过选择性地强调相关特征并抑制噪声，提升了分割精度，在乳腺肿块分割任务中实现了84.4±0.7的Dice分数，达到当前最优性能。

ABSTRACT

Multi-modal magnetic resonance imaging (MRI) is essential in clinics for comprehensive diagnosis and surgical planning. Nevertheless, the segmentation of multi-modal MR images tends to be time-consuming and challenging. Convolutional neural network (CNN)-based multi-modal MR image analysis commonly proceeds with multiple down-sampling streams fused at one or several layers. Although inspiring performance has been achieved, the feature fusion is usually conducted through simple summation or concatenation without optimization. In this work, we propose a supervised image fusion method to selectively fuse the useful information from different modalities and suppress the respective noise signals. Specifically, an attention block is introduced as guidance for the information selection. From the different modalities, one modality that contributes most to the results is selected as the master modality, which supervises the information selection of the other assistant modalities. The effectiveness of the proposed method is confirmed through breast mass segmentation in MR images of two modalities and better segmentation results are achieved compared to the state-of-the-art methods.

研究动机与目标

• 解决深度学习在多模态磁共振成像分割中噪声大且特征融合效果不佳的挑战。
• 通过选择性融合不同磁共振序列（如T1增强和T2加权）之间的互补信息，提升分割精度。
• 减少乳腺肿块分割中的假阳性和假阴性，尤其针对棘状或边界不清的病灶。
• 开发一种可训练的、基于注意力的融合机制，通过某一模态监督其他模态的特征选择，模拟知识蒸馏过程。
• 在包含313名患者的临床真实数据集上验证该方法，使用两组磁共振序列，证明其优于现有融合策略。

提出的方法

• 采用多流U-Net架构，其中一种模态被指定为主流，其余为辅助流。
• 在主模态上应用注意力模块，生成监督信号，以指导主流和辅助流中的特征选择。
• 利用主模态生成的注意力图，在多个编码器层对所有模态的特征进行加权与优化。
• 通过可学习的注意力加权连接或逐元素加权实现特征融合，替代简单的求和或拼接操作。
• 网络采用端到端的监督损失进行训练，主模态的预测结果用于指导辅助模态流的训练。
• 通过根据临床相关性或性能重新定义主模态，该方法可扩展至其他多模态医学影像任务。

实验结果

研究问题

• RQ1 与标准拼接或求和策略相比，基于注意力机制、由主模态引导的特征融合是否能提升多模态磁共振成像的分割精度？
• RQ2 使用单一高性能模态（如T1增强）作为监督信号，是否能增强性能较低但具有互补性的其他模态（如T2加权）的特征学习能力？
• RQ3 所提出的方法能否减少乳腺肿块分割中的假阳性和假阴性，特别是对棘状等难辨识病灶？
• RQ4 注意力机制如何在不同模态间定位相关区域？其是否能有效抑制无关或噪声特征？
• RQ5 该方法是否具备泛化能力，可推广至乳腺MRI以外的其他多模态医学图像分割任务？

主要发现

• 所提方法实现了84.4±0.7的Dice相似系数，优于所有基线方法，包括FuseNet、FuseUNet以及晚期/早期融合基线模型。
• 与基线模型相比，该方法将假阳性率降低了10–15%，在示例病例中已通过视觉验证（如图4中的第二和第三个示例）。
• T1增强模态生成的注意力图成功定位了肿块区域（图5中红箭头所示），而T2加权模态流则常突出无关区域（蓝箭头），验证了监督机制的必要性。
• 在所有方法中，该方法的假阴性率最低（30.9±1.6%），表明其在检测小尺寸或不规则肿块方面具有优势。
• 与FuseUNet + SA相比，所提方法中引入注意力模块使Dice分数提升了1.3%，证明了监督机制的有效性。
• 模型保持了紧凑的参数量（26.7M），表明性能提升未带来显著的计算开销。