[论文解读] A 3D Coarse-to-Fine Framework for Volumetric Medical Image Segmentation

Zhuotun Zhu, Yingda Xia+3 more|arXiv (Cornell University)|Dec 1, 2017

Advanced Neural Network Applications参考文献 29被引用 6

一句话总结

本文提出一种基于轻量级3D残差网络（ResDSN）的3D粗到细框架，用于CT扫描中的体积胰腺分割。通过在全体积上使用低重叠的粗3D全卷积网络（FCN）进行胰腺定位，随后在定位区域上应用高重叠的细3D FCN进行精细化分割，该方法在NIH数据集上实现了SOTA的Dice分数（平均DSC为84.59%），同时推理速度比全体积推理快36%，显著提升了在挑战性正常和病理病例中的鲁棒性。

ABSTRACT

In this paper, we adopt 3D Convolutional Neural Networks to segment volumetric medical images. Although deep neural networks have been proven to be very effective on many 2D vision tasks, it is still challenging to apply them to 3D tasks due to the limited amount of annotated 3D data and limited computational resources. We propose a novel 3D-based coarse-to-fine framework to effectively and efficiently tackle these challenges. The proposed 3D-based framework outperforms the 2D counterpart to a large margin since it can leverage the rich spatial infor- mation along all three axes. We conduct experiments on two datasets which include healthy and pathological pancreases respectively, and achieve the current state-of-the-art in terms of Dice-Sørensen Coefficient (DSC). On the NIH pancreas segmentation dataset, we outperform the previous best by an average of over 2%, and the worst case is improved by 7% to reach almost 70%, which indicates the reliability of our framework in clinical applications.

研究动机与目标

• 为解决在体积CT扫描中对小尺寸、可变性及病理状态胰腺进行精确且高效3D分割的挑战。
• 克服2D全卷积网络（FCN）因丢失3D空间上下文信息而导致的切片级预测不一致问题。
• 开发一种利用完整3D上下文信息的3D深度学习框架，同时在GPU显存限制下保持计算效率。
• 提升在正常与异常胰腺上的分割性能，特别是在因大小、形状和纹理可变性导致Dice分数较低的病例中。
• 通过新颖的粗到细推理策略与自适应重叠尺寸，实现高精度与低推理时间之间的平衡。

提出的方法

• 设计了一种仅包含长跳跃连接的3D全卷积网络（ResDSN），以降低计算成本并实现高效推理。
• 粗阶段在全3D体积上使用小重叠（n=6）的滑动窗口，通过ResDSN Coarse模型生成胰腺的粗略定位。
• 细阶段仅在粗定位区域上应用重叠更大的ResDSN Fine模型（n=12），以提高精度的方式细化分割结果。
• 该框架采用两种不同的感兴趣区域输入：全体积用于粗推理，局部包围盒用于细推理，从而在上下文中实现更优的特征学习。
• 在粗网络与细网络的中间层引入辅助损失，实施深度监督，以稳定训练并提升泛化能力。
• 采用两阶段推理流程，结合低成本的粗检测与高精度的细细化，与全体积细推理相比，总推理时间减少36%。

实验结果

研究问题

• RQ1 具有自适应重叠尺寸的3D粗到细框架是否能在降低推理时间的同时提升体积胰腺分割的准确性？
• RQ2 与2D逐切片方法相比，3D FCN中利用完整3D空间上下文信息在Dice分数和挑战性病例鲁棒性方面表现如何？
• RQ3 深度监督在多大程度上提升了3D胰腺分割模型的稳定性与性能，尤其是在低Dice分数病例中？
• RQ4 仅包含长残差连接的轻量级3D网络是否能在显著降低计算成本的同时保持高精度？
• RQ5 粗到细策略是否在正常和病理胰腺（包括囊性异常）中均具有泛化能力？

主要发现

• 所提出的3D粗到细框架（ResDSN C2F）在NIH胰腺数据集上实现了84.59%的平均Dice-Sørensen系数（DSC），优于以往SOTA方法。
• 最差情况下的DSC从无深度监督时的51.83%提升至使用深度监督后的69.62%，表明在困难病例中显著提升了稳定性。
• 框架将平均推理时间从全体积精细推理的382秒减少至245秒，实现36%的性能提升，同时保持更高精度。
• ResDSN Coarse模型仅用111秒推理时间即达到83.18%的平均DSC，显示出粗定位阶段的高效率。
• 该方法在低DSC病例中显著优于2D基线模型，最差情况下的性能提升达7%，DSC接近70%。
• 该框架在正常与病理胰腺（包括囊性变异）中均表现有效，证实其在临床相关场景下的鲁棒性。