[论文解读] MMFNet: A Multi-modality MRI Fusion Network for Segmentation of Nasopharyngeal Carcinoma

Huai Chen, Yuxiao Qi+6 more|arXiv (Cornell University)|Dec 25, 2018

Brain Tumor Detection and Classification参考文献 68被引用 4

一句话总结

该论文提出MMFNet，一种3D多编码器融合网络，整合T1、T2及增强对比T1磁共振成像（MRI）模态，以提升鼻咽癌（NPC）的自动分割性能。通过采用3D-CBAM进行特征重校准，结合残差融合模块实现均衡的特征融合，并引入自迁移训练策略，MMFNet实现了高精度、高效率的NPC分割，将处理时间从人工分割的10–20分钟缩短至每例约9秒。

ABSTRACT

Segmentation of nasopharyngeal carcinoma (NPC) from Magnetic Resonance Images (MRI) is a crucial prerequisite for NPC radiotherapy. However, manually segmenting of NPC is time-consuming and labor-intensive. Additionally, single-modality MRI generally cannot provide enough information for its accurate delineation. Therefore, a multi-modality MRI fusion network (MMFNet) based on three modalities of MRI (T1, T2 and contrast-enhanced T1) is proposed to complete accurate segmentation of NPC. The backbone of MMFNet is designed as a multi-encoder-based network, consisting of several encoders to capture modality-specific features and one single decoder to fuse them and obtain high-level features for NPC segmentation. A fusion block is presented to effectively fuse features from multi-modality MRI. It firstly recalibrates low-level features captured from modality-specific encoders to highlight both informative features and regions of interest, then fuses weighted features by a residual fusion block to keep balance between fused ones and high-level features from decoder. Moreover, a training strategy named self-transfer, which utilizes pre-trained modality-specific encoders to initialize multi-encoder-based network, is proposed to make full mining of information from different modalities of MRI. The proposed method based on multi-modality MRI can effectively segment NPC and its advantages are validated by extensive experiments.

研究动机与目标

• 为解决人工NPC分割耗时且依赖临床医生经验的局限性。
• 克服单一模态MRI在捕捉组织全面特征方面不足，难以实现准确的NPC勾画。
• 开发一种端到端深度学习框架，有效融合多模态MRI，以提升NPC的3D分割性能。
• 提出一种新型训练策略——自迁移，利用预训练的模态特异性编码器，增强多编码器架构中的特征学习能力。
• 验证多模态融合在NPC分割性能上优于单模态或双模态方法。

提出的方法

• MMFNet采用多编码器主干网络，为T1、T2及增强对比T1 MRI分别设置独立编码器，以提取模态特异性特征。
• 融合模块利用3D-CBAM（卷积块注意力模块）整合多模态特征，通过通道与空间注意力重校准，突出显示信息量丰富的特征与感兴趣区域。
• 残差融合模块（RFBlock）将3D-CBAM重加权后的特征与高层解码器特征结合，以保持特征平衡并保留空间上下文信息。
• 自迁移训练策略通过从三个预训练的模态特异性编码器-解码器网络迁移知识，初始化多编码器网络。
• 网络全程采用3D卷积层，实现完整的3D特征学习，保留切片间的空间关系。
• 解码路径通过来自多编码器特征的跳跃连接重建分割掩膜，实现精确的边界定位。

实验结果

研究问题

• RQ1 与单模态方法相比，融合T1、T2及增强对比T1 MRI模态是否能显著提升NPC分割的准确性？
• RQ2 所提出的3D-CBAM与残差融合模块在增强多模态融合中的特征表示能力并降低噪声方面效果如何？
• RQ3 自迁移训练策略是否能提升多编码器网络在NPC分割中的收敛速度与分割性能？
• RQ4 使用3D特征在捕捉NPC解剖上下文方面是否显著优于2D切片方法？
• RQ5 NPC分割的最佳MRI模态组合是什么？是否包含全部三种模态（T1、T2、CET1）能取得最优结果？

主要发现

• 与U-Net、3D U-Net及其他多模态方法相比，MMFNet在NPC分割中表现出更优的性能，实现了当前最先进的分割精度。
• 包含全部三种MRI模态（T1、T2、增强对比T1）的组合产生了最佳分割结果，证实了多模态融合的价值。
• 采用多MLP与标准差池化集成的3D-CBAM性能最高，表明其在捕捉多样化全局特征分布方面的有效性。
• 自迁移训练策略在所有评估配置中均显著提升了分割指标，证实其在初始化多编码器网络中的价值。
• MMFNet将NPC分割时间缩短至每例约9秒，相比人工分割（10–20分钟）实现质的飞跃。
• 可视化结果显示，注意力图在训练过程中动态聚焦于肿瘤区域，减少假阳性，提升定位准确性。