[论文解读] Automatic Liver Segmentation Using an Adversarial Image-to-Image Network

Dong Yang, Daguang Xu+6 more|arXiv (Cornell University)|Jul 25, 2017

Radiomics and Machine Learning in Medical ImagingMedicine被引用 17

一句话总结

本文提出了一种用于CT扫描中自动3D肝脏分割的深度对抗性图像到图像网络（DI2IN-AN），结合U-Net类编码器-解码器架构、多级跳跃连接、深度监督和对抗性训练，以提高边界精度。在超过1,000个体积的多样化CT扫描数据上进行训练，该方法实现了最先进性能，平均对称表面距离（ASD）为1.90毫米，Dice系数为0.95，且每幅扫描的推理时间小于一秒。

ABSTRACT

Automatic liver segmentation in 3D medical images is essential in many clinical applications, such as pathological diagnosis of hepatic diseases, surgical planning, and postoperative assessment. However, it is still a very challenging task due to the complex background, fuzzy boundary, and various appearance of liver. In this paper, we propose an automatic and efficient algorithm to segment liver from 3D CT volumes. A deep image-to-image network (DI2IN) is first deployed to generate the liver segmentation, employing a convolutional encoder-decoder architecture combined with multi-level feature concatenation and deep supervision. Then an adversarial network is utilized during training process to discriminate the output of DI2IN from ground truth, which further boosts the performance of DI2IN. The proposed method is trained on an annotated dataset of 1000 CT volumes with various different scanning protocols (e.g., contrast and non-contrast, various resolution and position) and large variations in populations (e.g., ages and pathology). Our approach outperforms the state-of-the-art solutions in terms of segmentation accuracy and computing efficiency.

研究动机与目标

• 为解决在复杂背景、模糊边界和高解剖变异性的3D CT容积中实现精确且高效的自动肝脏分割的挑战。
• 克服传统后处理方法（如CRF和图割）在低对比度区域存在边界泄漏的局限性。
• 通过将对抗性训练整合到图像到图像网络中，改进基于深度学习的分割方法，提升结构细节和边界精度。
• 利用超过1,000个体积的大型数据集，提升模型的泛化能力和鲁棒性。
• 在最小推理时间内实现高精度分割，支持临床部署。

提出的方法

• 该方法采用具有3D编码器-解码器架构的深度图像到图像网络（DI2IN），使用3D卷积和双线性上采样层以保持空间分辨率。
• 在多个层级上使用跳跃连接，将编码器和解码器层的特征进行拼接，以增强特征复用和梯度流动。
• 在解码器的多个阶段应用深度监督，通过独立的损失函数指导中间预测，提升训练稳定性。
• 引入对抗性训练组件，其中判别器网络被训练以区分真实肝脏掩码与生成器（DI2IN）的预测结果，从而促使输出更加清晰和逼真。
• 生成器损失结合标准交叉熵损失与对抗性损失项，其中判别器的反馈有助于优化生成器的输出分布。
• 使用随机梯度下降进行端到端训练，学习率为0.01，100轮后衰减10倍，对抗性训练采用平衡权重λ = 0.01。

实验结果

研究问题

• RQ1 对抗性训练是否能提升3D CT容积中肝脏分割的质量，特别是在边界模糊的区域？
• RQ2 在超过1,000个多样化3D CT容积的大规模数据集上进行训练，是否能显著提升基于深度学习的肝脏分割的鲁棒性和准确性？
• RQ3 具有跳跃连接和深度监督的端到端图像到图像网络是否能在不依赖CRF或图割等后处理优化的情况下，超越现有方法？
• RQ4 在未见的临床数据上，所提出的DI2IN-AN框架在性能和推理速度上与最先进方法相比如何？
• RQ5 与传统优化技术相比，对抗性训练在低对比度肝脏区域中在多大程度上减少了边界泄漏？

主要发现

• 所提出的DI2IN-AN在50例独立测试集上实现了1.90毫米的平均对称表面距离（ASD）和0.95的Dice系数，优于所有基线方法。
• 在超过1,000个体积上进行训练，相比仅使用400个体积训练，平均ASD降低了0.23毫米，最大ASD降低了3.84毫米。
• 对抗性组件将最大ASD误差从7.82毫米（使用400例训练时）降低至6.32毫米（使用1,000例训练时），表明边界精度得到提升。
• 在NVIDIA TITAN X GPU上，该方法每个体积的推理时间小于一秒，显著快于先前方法（如文献[6]报告的1.5分钟）。
• CRF和图割后处理方法在低对比度数据上反而降低了分割性能，证实了端到端对抗性学习在处理模糊边界方面的优势。
• 在超过1,000例数据上训练的DI2IN-AN模型相比基线网络，平均对称表面距离提升了20%，证明了大规模数据的优越性。