[论文解读] Modality-Pairing Learning for Brain Tumor Segmentation

Yixin Wang, Yao Zhang+6 more|arXiv (Cornell University)|Oct 19, 2020

Advanced Neural Network Applications参考文献 15被引用 15

一句话总结

本文提出了一种基于3D U-Net的模态配对学习框架，用于脑肿瘤分割，其中两个并行分支分别处理配对的MRI模态（T1/T1ce 和 T2/Flair），通过密集跳跃连接和一致性损失增强特征融合。该方法在BraTS 2020挑战赛中获得第二名，平均Dice分数分别为0.891（整体肿瘤）、0.842（肿瘤核心）和0.816（增强肿瘤）。

ABSTRACT

Automatic brain tumor segmentation from multi-modality Magnetic Resonance Images (MRI) using deep learning methods plays an important role in assisting the diagnosis and treatment of brain tumor. However, previous methods mostly ignore the latent relationship among different modalities. In this work, we propose a novel end-to-end Modality-Pairing learning method for brain tumor segmentation. Paralleled branches are designed to exploit different modality features and a series of layer connections are utilized to capture complex relationships and abundant information among modalities. We also use a consistency loss to minimize the prediction variance between two branches. Besides, learning rate warmup strategy is adopted to solve the problem of the training instability and early over-fitting. Lastly, we use average ensemble of multiple models and some post-processing techniques to get final results. Our method is tested on the BraTS 2020 online testing dataset, obtaining promising segmentation performance, with average dice scores of 0.891, 0.842, 0.816 for the whole tumor, tumor core and enhancing tumor, respectively. We won the second place of the BraTS 2020 Challenge for the tumor segmentation task.

研究动机与目标

• 解决多模态MRI脑肿瘤分割中模态间特征交互有限的挑战。
• 通过建模配对MRI模态（T1/T1ce 与 T2/Flair）之间的互补关系，克服输入级融合的局限性。
• 通过模态配对学习与一致性正则化，提升分割的鲁棒性与准确性。
• 通过学习率热身策略与模型集成技术，缓解训练不稳定与过拟合问题。
• 通过集成架构与训练创新，在BraTS 2020基准上实现最先进性能。

提出的方法

• 设计一种双分支3D U-Net架构，每个分支处理一对MRI模态：一个分支处理T1与T1ce，另一个分支处理T2与Flair。
• 在两个分支的对应编码器与解码器层之间引入密集跳跃连接，以增强特征流动并提升互补性。
• 引入模态配对损失，强制两个分支的高层特征表示保持一致性，促进鲁棒且对齐的特征学习。
• 在每个卷积块中使用实例归一化与Leaky ReLU，而非批量归一化与ReLU，以提升训练稳定性。
• 在训练过程中采用学习率热身策略，以减少不稳定性并防止早期过拟合。
• 通过平均多个训练模型的预测结果实现模型集成，并应用后处理方法去除虚假分割对象。

实验结果

研究问题

• RQ1 与标准的输入级融合相比，采用模态配对的双分支架构是否能提升多模态MRI分割中的特征表示学习？
• RQ2 通过专用损失函数强制配对模态分支之间的一致性，是否能提升分割精度与鲁棒性？
• RQ3 学习率热身策略在深度3D U-Net模型用于脑肿瘤分割时，能在多大程度上提升训练稳定性和泛化能力？
• RQ4 模型集成与后处理在优化分割输出并提升BraTS 2020基准最终性能方面有多有效？
• RQ5 与最先进方法相比，所提出的方法是否能在BraTS 2020挑战赛中取得具有竞争力的结果？

主要发现

• 所提出的模态配对学习方法在BraTS 2020在线测试集上，整体肿瘤的平均Dice分数为0.891，肿瘤核心为0.842，增强肿瘤为0.816。
• 该方法在BraTS 2020挑战赛脑肿瘤分割任务中，78支参赛团队中位列第二。
• 三个表现最佳的模态配对模型与三个标准U-Net模型的集成，使验证集上增强肿瘤的Dice分数从0.785提升至0.793。
• 该模型在验证集上表现出色，整体肿瘤的平均Dice为0.907，肿瘤核心为0.837，表明分割保真度高。
• Hausdorff95指标显示，该模型保持了良好的边界精度，验证集上整体肿瘤的平均值为4.71，肿瘤核心为5.70。
• 增强肿瘤的中位Dice分数为0.885，尽管标准差较高（0.276），但仍表明在复杂病例中具有良好的一致性与鲁棒性。