[论文解读] Deep learning and its application to medical image segmentation

Holger R. Roth, Chen Shen+5 more|arXiv (Cornell University)|Mar 23, 2018

Radiomics and Machine Learning in Medical Imaging参考文献 32被引用 61

一句话总结

该论文开发了一个3D全卷积网络（3D U-Net）用于腹部CT的自动多器官分割，并在胃癌CT数据集上报告了接近状态-of-the-art的 Dice 分数。

ABSTRACT

One of the most common tasks in medical imaging is semantic segmentation. Achieving this segmentation automatically has been an active area of research, but the task has been proven very challenging due to the large variation of anatomy across different patients. However, recent advances in deep learning have made it possible to significantly improve the performance of image recognition and semantic segmentation methods in the field of computer vision. Due to the data driven approaches of hierarchical feature learning in deep learning frameworks, these advances can be translated to medical images without much difficulty. Several variations of deep convolutional neural networks have been successfully applied to medical images. Especially fully convolutional architectures have been proven efficient for segmentation of 3D medical images. In this article, we describe how to build a 3D fully convolutional network (FCN) that can process 3D images in order to produce automatic semantic segmentations. The model is trained and evaluated on a clinical computed tomography (CT) dataset and shows state-of-the-art performance in multi-organ segmentation.

研究动机与目标

• 解决腹部CT自动语义分割面临的巨大解剖变异性挑战。
• 提出受U-Net启发的用于体积医用影像分割的3D全卷积网络架构。
• Demonstrate end-to-end training with data augmentation and a Dice-based loss to optimize segmentation performance.
• Evaluate the model on a gastric cancer CT dataset across multiple organs and compare to state-of-the-art methods.

提出的方法

• 采用对称的编码器–解码器结构的3D FCN（类似3D U-Net），编码器使用3x3x3卷积核、2x2x2的最大池化，解码器使用转置卷积。
• 在编码器和解码器的匹配分辨率处加入跳跃连接，以保持高分辨率特征。
• 在单个GPU上，以随机裁剪的子体积（64x64x64）进行训练，使用批量归一化和Adam优化，并使用 Dice 基损失进行多类分割。
• 应用平滑B样条变形、随机旋转和平移等数据增强，以提高鲁棒性并减少过拟合。
• 推理阶段通过重叠切片法处理整体积，并将输出重采样以匹配输入尺寸。
• 利用体素级softmax产生逐体素的类别概率，并将总损失定义为各类别 Dice 损失的加权和（在本研究中权重设为1）。

实验结果

研究问题

• RQ1 3D 全卷积网络是否可以端到端训练实现腹部CT的多器官准确分割？
• RQ2 使用所提出的3D FCN可以在动脉、静脉、肝、脾、胃、胆囊和胰腺等器官上达到何种 Dice 分数？
• RQ3 数据增强和网络结构（包括跳跃连接）如何影响分割性能和鲁棒性？
• RQ4 与其他前沿深度学习方法在多器官CT腹部分割上的表现相比，3D U-Net风格的FCN是否具有竞争力？

主要发现

• 训练数据上的平均 Dice 分数为 89.4%，覆盖所有器官（各器官存在差异）。
• 测试数据上的平均 Dice 分数为 89.3%，覆盖所有器官（各器官存在差异）。
• 测试中的器官级 Dice：动脉 83.5%，静脉 80.5%，肝 97.1%，脾 97.7%，胃 96.1%，胆囊 85.1%，胰腺 84.9%。
• 模型可扩展到3D体积分割，参数约为1900万，单例病例的推理时间 <1 分钟。
• 数据增强与基于体积的处理有助于防止过拟合，并实现对整块CT体积的鲁棒多器官分割。
• 该方法在3D腹部CT器官分割的其他前沿架构中具有竞争力。