[论文解读] Modality-aware Mutual Learning for Multi-modal Medical Image Segmentation

Yao Zhang, Jiawei Yang+5 more|arXiv (Cornell University)|Jul 21, 2021

Advanced Neural Network Applications参考文献 29被引用 10

一句话总结

该论文提出了一种新型的多模态医学图像分割框架——模态感知互学习（MAML），通过模态特定模型的相互学习来提升肝脏肿瘤分割性能。通过引入模态感知注意力模块实现自适应特征融合，并在不同模态间实现知识蒸馏，MAML在临床和公开数据集上均实现了最先进性能，对缺失模态具有强鲁棒性，并实现了显著的准确率提升。

ABSTRACT

Liver cancer is one of the most common cancers worldwide. Due to inconspicuous texture changes of liver tumor, contrast-enhanced computed tomography (CT) imaging is effective for the diagnosis of liver cancer. In this paper, we focus on improving automated liver tumor segmentation by integrating multi-modal CT images. To this end, we propose a novel mutual learning (ML) strategy for effective and robust multi-modal liver tumor segmentation. Different from existing multi-modal methods that fuse information from different modalities by a single model, with ML, an ensemble of modality-specific models learn collaboratively and teach each other to distill both the characteristics and the commonality between high-level representations of different modalities. The proposed ML not only enables the superiority for multi-modal learning but can also handle missing modalities by transferring knowledge from existing modalities to missing ones. Additionally, we present a modality-aware (MA) module, where the modality-specific models are interconnected and calibrated with attention weights for adaptive information exchange. The proposed modality-aware mutual learning (MAML) method achieves promising results for liver tumor segmentation on a large-scale clinical dataset. Moreover, we show the efficacy and robustness of MAML for handling missing modalities on both the liver tumor and public brain tumor (BRATS 2018) datasets. Our code is available at https://github.com/YaoZhang93/MAML.

研究动机与目标

• 通过增强对比增强CT扫描提升多模态肝脏肿瘤分割的准确率与鲁棒性。
• 解决临床实践中仅能获取单一相位（动脉期或静脉期）导致的模态缺失问题。
• 通过学习模态特定表征并结合自适应注意力机制，实现有效且可解释的多模态特征融合。
• 克服现有方法依赖固定融合策略或单向知识蒸馏的局限性。
• 构建一个既能处理完整多模态输入，也能处理模态缺失部分输入的框架。

提出的方法

• 该方法采用一组模态特定的全卷积网络（FCNs），分别从每种CT相位（动脉期与静脉期）中提取特征。
• 模态感知（MA）模块计算可学习的注意力图，基于其与分割任务的相关性，自适应地加权并融合来自不同模态的特征。
• 在模态特定模型之间应用互学习（ML），实现双向知识蒸馏，从而提升泛化能力与鲁棒性。
• 通过组合内部损失（每模型的分割损失）与联合损失（知识蒸馏损失）进行端到端训练，以对齐各模型之间的预测结果。
• 在3D CT影像上进行端到端训练，数据增强方式包括随机镜像、旋转、形变与伽马校正。
• 在大规模临床肝脏肿瘤数据集以及公开的BRATS 2018脑肿瘤数据集上，对模态缺失场景进行了评估。

实验结果

研究问题

• RQ1 模态特定模型之间的互学习策略是否能超越标准多模态融合，进一步提升分割性能？
• RQ2 模态感知注意力机制是否能在多模态医学图像分割中实现有效且可解释的特征融合？
• RQ3 所提出方法在模态缺失场景下的表现如何，特别是在仅提供单一相位时？
• RQ4 互学习机制是否能有效实现模态间知识迁移，从而减少动脉期与静脉期之间的性能差异？
• RQ5 该框架是否能泛化至肝脏肿瘤分割以外的其他多模态医学影像任务？

主要发现

• 在临床肝脏肿瘤数据集上，MAML的Dice分数达到89.6%，优于基线的模态特定模型集成（86.7%）以及nnUNet和OctopusNet等最先进方法。
• 模态感知模块实现了可解释的注意力机制：静脉图像聚焦于肿瘤边缘与假包膜，动脉图像则强调肿瘤内部结构。
• 在仅提供T1ce模态的BRATS 2018数据集中，MAML在全肿瘤分割上达到78.32 ± 1.41的Dice分数，优于KD-Net（76.98 ± 1.54）、U-HVED（62.4）与HeMIS（58.5）。
• 当仅存在单一模态时，MAML显著缩小了动脉期与静脉期之间的性能差距，展现出强大的知识迁移能力。
• 与未蒸馏模型相比，互学习策略显著提升了性能，相较于MS+MA基线提升了2.9%的Dice分数。
• 该方法对模态缺失表现出强鲁棒性，即使仅存在单一相位，也能保持高性能，这对真实临床部署至关重要。