[论文解读] 3D Convolutional Neural Networks for Tumor Segmentation using Long-range 2D Context

Pawel Mlynarski, Hervé Delingette+2 more|arXiv (Cornell University)|Jul 23, 2018

Radiomics and Machine Learning in Medical Imaging被引用 4

一句话总结

该论文提出了一种3D CNN框架，通过引入预提取的长程2D上下文特征，以提升多序列MRI中的脑肿瘤分割性能。通过结合模态特异性2D特征提取与3D上下文学习，并采用集成投票策略，该方法在无需后处理的情况下，于BRATS 2017基准上实现了0.918（整体肿瘤）、0.883（核心区域）和0.854（增强核心）的高Dice分数。

ABSTRACT

We present an efficient deep learning approach for the challenging task of tumor segmentation in multisequence MR images. In recent years, Convolutional Neural Networks (CNN) have achieved state-of-the-art performances in a large variety of recognition tasks in medical imaging. Because of the considerable computational cost of CNNs, large volumes such as MRI are typically processed by subvolumes, for instance slices (axial, coronal, sagittal) or small 3D patches. In this paper we introduce a CNN-based model which efficiently combines the advantages of the short-range 3D context and the long-range 2D context. To overcome the limitations of specific choices of neural network architectures, we also propose to merge outputs of several cascaded 2D-3D models by a voxelwise voting strategy. Furthermore, we propose a network architecture in which the different MR sequences are processed by separate subnetworks in order to be more robust to the problem of missing MR sequences. Finally, a simple and efficient algorithm for training large CNN models is introduced. We evaluate our method on the public benchmark of the BRATS 2017 challenge on the task of multiclass segmentation of malignant brain tumors. Our method achieves good performances and produces accurate segmentations with median Dice scores of 0.918 (whole tumor), 0.883 (tumor core) and 0.854 (enhancing core). Our approach can be naturally applied to various tasks involving segmentation of lesions or organs.

研究动机与目标

• 为解决在大型3D MRI图像中实现高计算效率的多类脑肿瘤分割挑战。
• 通过引入长程2D上下文信息，克服标准3D CNN感受野有限的问题。
• 通过为每种成像序列使用模态特异性子网络，提升对缺失MR序列的鲁棒性。
• 通过基于体素投票的级联2D-3D模型集成，提升分割可靠性。
• 通过设计稳健的端到端训练与推理流程，消除对后处理的依赖。

提出的方法

• 该方法使用独立的2D CNN从每种MR序列（T1、T1c、T2、FLAIR）中提取高层特征，随后将这些特征拼接为3D CNN的附加输入通道。
• 3D CNN处理融合后的输入，实现端到端分割，同时利用短程3D空间上下文和来自预计算特征的长程2D上下文。
• 提出一种新颖的训练策略，以高效训练大型CNN模型于3D MRI数据，最大限度减少内存和计算开销。
• 模态特异性子网络在包含或不包含特定序列的数据上独立训练，从而在推理阶段对缺失数据具有鲁棒性。
• 通过体素级投票集成多个2D-3D模型，其中每个模型的输出根据其性能和标签语义进行加权。
• 该框架避免了CRF或形态学滤波等后处理步骤，转而依赖模型固有的归纳偏置和特征融合。

实验结果

研究问题

• RQ1 在不显著增加计算成本的前提下，长程2D上下文能否提升3D CNN在肿瘤分割中的性能？
• RQ2 当训练数据中包含缺失MR序列时，模态特异性子网络在多大程度上能提升模型鲁棒性？
• RQ3 对多个2D-3D模型进行集成投票在多大程度上能提升分割准确率和对肿瘤亚区的敏感性？
• RQ4 混合2D-3D架构在感受野和分割准确率方面能否优于纯3D CNN，同时保持计算效率？
• RQ5 是否可能仅通过架构设计与特征融合实现最先进性能，而无需依赖后处理？

主要发现

• 该方法在BRATS 2017基准上实现了整体肿瘤分割的中位Dice分数为0.918，表明分割精度极高。
• 肿瘤核心区域的分割实现了中位Dice分数0.883，显示出在最具临床意义的亚区中表现强劲。
• 作为小而关键的亚区，增强核心区域实现了中位Dice分数0.854，凸显了模型检测细微对比增强病灶的能力。
• 使用模态特异性子网络在训练数据包含缺失MR序列时提升了性能，增强了对数据变异的鲁棒性。
• 集成投票策略有效减少了假阴性，并在无需后处理的情况下提升了对肿瘤亚区的敏感性。
• 该框架在无需依赖CRF或形态学操作等后处理技术的情况下，实现了最先进性能。