[论文解读] A multi-scale pyramid of 3D fully convolutional networks for abdominal multi-organ segmentation

Holger R. Roth, Chen Shen+6 more|arXiv (Cornell University)|Jun 6, 2018

Radiomics and Machine Learning in Medical Imaging参考文献 13被引用 7

一句话总结

本文提出一种多尺度金字塔3D全卷积网络（FCNs）结合自动上下文融合的方法，实现高分辨率、上下文感知的腹部多器官分割。通过在多个尺度上堆叠类似U-Net的3D FCN并采用端到端训练，该模型在临床CT数据集上取得了89.0%的平均Dice分数，并在来自不同医院及公开基准数据集的未见数据上展现出强大的泛化能力。

ABSTRACT

Recent advances in deep learning, like 3D fully convolutional networks (FCNs), have improved the state-of-the-art in dense semantic segmentation of medical images. However, most network architectures require severely downsampling or cropping the images to meet the memory limitations of today's GPU cards while still considering enough context in the images for accurate segmentation. In this work, we propose a novel approach that utilizes auto-context to perform semantic segmentation at higher resolutions in a multi-scale pyramid of stacked 3D FCNs. We train and validate our models on a dataset of manually annotated abdominal organs and vessels from 377 clinical CT images used in gastric surgery, and achieve promising results with close to 90% Dice score on average. For additional evaluation, we perform separate testing on datasets from different sources and achieve competitive results, illustrating the robustness of the model and approach.

研究动机与目标

• 为解决3D医学图像分割中GPU显存受限的问题，实现在不进行过度裁剪或下采样的情况下进行高分辨率推理。
• 通过整合多尺度上下文信息，提升对血管和小器官等细微结构的分割精度。
• 开发一种端到端可训练的框架，利用自动上下文在不同尺度间融合特征，增强高分辨率下的特征表示能力。
• 在不同医院及公开来源的未见数据集上评估泛化性能，验证对影像差异的鲁棒性。

提出的方法

• 该方法采用多尺度金字塔3D FCN结构，将低分辨率特征图上采样后与高分辨率输入拼接，以增强上下文信息。
• 金字塔的每一层均采用类似U-Net的架构，包含3×3×3卷积、ReLU激活函数以及2×2×2最大池化用于下采样。
• 通过将粗尺度网络的上采样预测结果作为附加输入特征，送入细尺度网络，实现自动上下文机制，从而实现上下文感知的特征优化。
• 在金字塔的每一层均使用Dice损失进行端到端训练，实现多尺度特征与预测结果的联合优化。
• 网络以原始分辨率的四分之一至一半处理图像，在计算效率与性能之间实现平衡。
• 通过跳跃连接与拼接操作实现跨尺度的特征融合，既保留空间细节，又融合全局上下文信息。

实验结果

研究问题

• RQ1 与标准3D FCN相比，采用自动上下文融合的多尺度金字塔3D FCN是否能提升腹部器官及血管的分割精度？
• RQ2 在多尺度3D FCN中引入上下文信息并进行端到端训练，是否能优于独立训练或非上下文架构？
• RQ3 所提出方法在来自不同医院及成像协议的未见数据集上是否具备良好的泛化能力？
• RQ4 在腹部分割任务中，多尺度3D FCN设计的分辨率与计算成本之间最优权衡是什么？
• RQ5 引入粗尺度上下文是否能显著改善对小器官或复杂结构（如血管和胆囊）的细粒度分割？

主要发现

• 所提出的端到端多尺度3D FCN在377例临床CT扫描的主训练与验证数据集上取得了89.0%的平均Dice分数。
• 在另一家医院的未见测试集上，模型取得了86.3%的平均Dice分数，展现出优异的泛化能力与鲁棒性。
• 该模型优于当前最先进方法，如[7]（80.3%平均Dice）和[9]（65.0%平均Dice），尤其在肝脏、脾脏和胃的分割上表现更优。
• 自动上下文机制显著提升了对细微结构（特别是血管）的分割效果，视觉对比显示二级预测结果捕捉到了更完整的血管细节。
• 使用四倍下采样的粗尺度输入显著提升了性能，而更高分辨率的最终层级则带来边际收益递减。
• 在公开的Visceral数据集上，模型未经过微调即取得77.8%的平均Dice分数，优于同一器官集合在挑战赛排行榜上的最佳报告结果（78.8%）