[论文解读] A fully 3D multi-path convolutional neural network with feature fusion and feature weighting for automatic lesion identification in brain MRI images

Yunzhe Xue, Meiyan Xie+6 more|arXiv (Cornell University)|Jul 17, 2019

Advanced Neural Network Applications参考文献 27被引用 5

一句话总结

该论文提出了一种完全基于3D的多路径卷积神经网络，包含模态特定编码器、加权特征融合和自适应特征加权机制，以提升脑部MRI中的自动病灶检测性能。在KES+MCW数据集上达到65.1%的Dice分数，在ATLAS数据集上达到60.5%，显著优于3D U-Net、DeepMedic和AnatomyNet，尤其在小而难以检测的病灶上表现突出。

ABSTRACT

We propose a fully 3D multi-path convolutional network to predict stroke lesions from 3D brain MRI images. Our multi-path model has independent encoders for different modalities containing residual convolutional blocks, weighted multi-path feature fusion from different modalities, and weighted fusion modules to combine encoder and decoder features. Compared to existing 3D CNNs like DeepMedic, 3D U-Net, and AnatomyNet, our networks achieves the highest statistically significant cross-validation accuracy of 60.5% on the large ATLAS benchmark of 220 patients. We also test our model on multi-modal images from the Kessler Foundation and Medical College Wisconsin and achieve a statistically significant cross-validation accuracy of 65%, significantly outperforming the multi-modal 3D U-Net and DeepMedic. Overall our model offers a principled, extensible multi-path approach that outperforms multi-channel alternatives and achieves high Dice accuracies on existing benchmarks.

研究动机与目标

• 为解决在3D脑部MRI扫描中检测小而难以识别的脑卒中病灶（特别是体积小于1000mm³的病灶）的挑战。
• 通过专用的多路径架构而非将模态堆叠为通道，利用多模态MRI数据提升病灶分割精度。
• 通过引入新型特征加权机制，平衡上采样特征与融合特征的贡献，从而提升小病灶的检测性能。
• 开发一种系统化且可扩展的3D深度学习框架，在公开及临床MRI基准测试中超越现有3D CNN模型。

提出的方法

• 模型为每种MRI模态（如T1、T2、FLAIR）使用独立的3D卷积编码器，以保留模态特异性表征。
• 通过自定义模块实现特征融合，利用挤压-激励（SE）模块动态根据重要性对通道进行加权，实现多模态特征的融合。
• 增强型加权（AW）机制提升了上采样器特征的贡献，以平衡融合模块的大规模输出，从而改善小病灶的训练效果。
• ReLU-Only预激活变体通过重新排序残差块中的归一化与非线性操作，稳定特征幅值并减少梯度不平衡。
• 网络采用类似U-Net的架构，编码器与解码器块之间通过跳跃连接相连，全程使用3D卷积实现全3D处理。
• 输入图像按扫描进行归一化（z-score），数据增强包括翻转操作，以提升有效模态多样性。

实验结果

研究问题

• RQ1 与单路径多通道方法相比，采用各模态独立编码器的多路径3D CNN是否能在病灶分割精度上表现更优？
• RQ2 加权特征融合与自适应特征加权机制是否能提升3D脑部MRI中小体积、低信号病灶的检测能力？
• RQ3 所提出的模型在公开及临床MRI数据集上与SOTA 3D CNN模型（如3D U-Net、DeepMedic、AnatomyNet）相比表现如何？
• RQ4 所提出的加权机制带来的性能提升是否具有统计显著性，尤其是在难以分割的病灶上？
• RQ5 尽管架构复杂，该模型在FLOPS与参数量指标上是否仍保持高效率？

主要发现

• 在KES+MCW数据集上，SE+AW变体达到65.1%的Dice分数，显著优于3D U-Net（60.8%），p值为0.0016。
• 在ATLAS基准上，模型达到60.5%的Dice分数，超越AnatomyNet（56.1%）与3D U-Net，p值为10^-6，表明具有极强的统计显著性。
• 对于最小的25%病灶（体积<1000mm³），模型在ATLAS上达到41.4%的Dice分数，较次优方法（AnatomyNet为34.1%）提升7%，p=0.004。
• ReLU-Only变体改善了特征幅值的平衡性，将融合输出与上采样器输出的幅值比从30–100倍降至10–30倍，缓解了残差块中的梯度问题。
• 在非分块模型中，该模型实现了最高的FLOPS效率，仅10.3亿FLOPS，显著低于AnatomyNet的107.7亿FLOPS，且精度更高。
• 将翻转图像作为第二模态使用，使ATLAS上的Dice分数从基础模型的56.3%提升至58.4%，证明了数据增强在多路径学习中的有效性。