[论文解读] Joint Sequence Learning and Cross-Modality Convolution for 3D Biomedical Segmentation

Kuan-Lun Tseng, Yen-Liang Lin+2 more|arXiv (Cornell University)|Apr 25, 2017

Medical Imaging and Analysis参考文献 21被引用 25

一句话总结

本文提出一种端到端的深度编码器-解码器网络，通过跨模态卷积联合学习多模态MRI特征，并利用卷积LSTM建模2D切片之间的序列依赖关系，实现3D生物医学图像分割。该方法在BRATS-2015数据集上达到最先进性能，mIoU达到73.52%，优于U-Net及其他SOTA方法，采用两阶段训练和重加权策略有效缓解了类别不平衡问题。

ABSTRACT

Deep learning models such as convolutional neural net- work have been widely used in 3D biomedical segmentation and achieve state-of-the-art performance. However, most of them often adapt a single modality or stack multiple modalities as different input channels. To better leverage the multi- modalities, we propose a deep encoder-decoder structure with cross-modality convolution layers to incorporate different modalities of MRI data. In addition, we exploit convolutional LSTM to model a sequence of 2D slices, and jointly learn the multi-modalities and convolutional LSTM in an end-to-end manner. To avoid converging to the certain labels, we adopt a re-weighting scheme and two-phase training to handle the label imbalance. Experimental results on BRATS-2015 show that our method outperforms state-of-the-art biomedical segmentation approaches.

研究动机与目标

• 通过有效融合T1、T1c、T2、FLAIR等多模态MRI数据（捕捉不同组织反应）来提升3D生物医学图像分割性能。
• 建模连续2D MRI切片之间的空间与序列相关性，以保持3D体积中结构的连续性。
• 通过重加权与两阶段训练，缓解肿瘤分割中严重的类别不平衡问题，特别是对正常组织（标签0）的影响。
• 设计一种新型跨模态卷积层，实现在多分辨率下跨不同MRI模态的特征聚合。
• 在统一的深度学习框架中实现多模态特征融合与序列建模的端到端优化。

提出的方法

• 多模态编码器使用独立的2D卷积网络处理各MRI模态（T1、T1c、T2、FLAIR），提取深层语义特征。
• 新型跨模态卷积（CMC）层通过学习共享空间位置上的模态特异性交互，融合不同模态的特征。
• 在2D切片序列上应用卷积LSTM层，以建模相邻切片之间的长程空间与时间依赖关系。
• 编码器-解码器架构通过转置卷积上采样最终特征图，重建原始分辨率下的3D分割结果。
• 采用两阶段训练策略：第一阶段使用标准交叉熵损失训练模型；第二阶段重新计算类别权重并微调模型，以提升对代表性不足类别（如正常组织）的性能。
• 多分辨率融合（MRF）策略结合编码器各阶段的特征，以保留空间细节并提升分割精度。

实验结果

研究问题

• RQ1 与标准2D或3D CNN相比，联合建模多模态MRI数据与切片序列依赖关系是否能显著提升3D生物医学图像分割性能？
• RQ2 与简单的通道堆叠方法相比，专用的跨模态卷积层是否能更有效地提升不同MRI序列（T1、T1c、T2、FLAIR）之间的特征融合效果？
• RQ3 在解剖结构快速变化的区域，引入卷积LSTM进行序列学习在多大程度上能提升分割精度？
• RQ4 重加权与两阶段训练是否能有效缓解肿瘤分割中严重的类别不平衡问题，特别是对正常组织的影响？
• RQ5 所提出的端到端框架是否在基准3D分割任务中持续优于现有SOTA方法（如U-Net）？

主要发现

• 所提方法在BRATS-2015数据集上取得73.52%的平均交并比（mIoU），优于U-Net及其他最先进方法。
• 引入跨模态卷积（CMC）使mIoU相比基线编码器-解码器模型（将模态作为输入通道堆叠）提升了约2%。
• 多分辨率融合（MRF）相比基础编码器-解码器模型使性能提升10%，证明了在不同尺度融合特征的价值。
• 两阶段训练显著提升了标签0（正常组织）的准确率，这对mIoU至关重要，并生成了更清晰、更连贯的分割图。
• 卷积LSTM组件在BRATS-2015与CamVid数据集上均持续提升性能，证实其在建模序列切片依赖关系方面的有效性。
• 可视化结果表明，该方法在复杂肿瘤边界与小结构上的预测更准确、更细致，尤其在两阶段训练后表现更优。