[论文解读] On the influence of Dice loss function in multi-class organ segmentation of abdominal CT using 3D fully convolutional networks

Chen Shen, Holger R. Roth+5 more|arXiv (Cornell University)|Jan 18, 2018

Radiomics and Machine Learning in Medical Imaging参考文献 6被引用 31

一句话总结

本研究探讨了三种Dice损失加权策略——均匀、简单和平方——在使用3D全卷积网络（FCNs）进行多器官腹部器官分割时的影响。结果表明，类别平衡权重和初始学习率的选择显著影响分割精度，其中简单加权方案在学习率为0.01时达到最高的平均Dice分数（81.0%）。

ABSTRACT

Deep learning-based methods achieved impressive results for the segmentation of medical images. With the development of 3D fully convolutional networks (FCNs), it has become feasible to produce improved results for multi-organ segmentation of 3D computed tomography (CT) images. The results of multi-organ segmentation using deep learning-based methods not only depend on the choice of networks architecture, but also strongly rely on the choice of loss function. In this paper, we present a discussion on the influence of Dice-based loss functions for multi-class organ segmentation using a dataset of abdominal CT volumes. We investigated three different types of weighting the Dice loss functions based on class label frequencies (uniform, simple and square) and evaluate their influence on segmentation accuracies. Furthermore, we compared the influence of different initial learning rates. We achieved average Dice scores of 81.3%, 59.5% and 31.7% for uniform, simple and square types of weighting when the learning rate is 0.001, and 78.2%, 81.0% and 58.5% for each weighting when the learning rate is 0.01. Our experiments indicated a strong relationship between class balancing weights and initial learning rate in training.

研究动机与目标

• 分析不同Dice损失加权方案对3D腹部CT图像中多器官分割性能的影响。
• 研究初始学习率在使用基于Dice的损失函数时对训练收敛性和分割精度的影响。
• 确定损失加权与学习率的最佳组合，以提升具有不同体素频率的各类腹部器官的分割效果。
• 评估在无数据增强条件下，3D U-Net模型在不同损失函数配置下的泛化能力与稳定性。
• 为3D FCNs在多类别医学图像分割任务中的超参数选择提供实证指导。

提出的方法

• 采用3D U-Net架构作为骨干网络，实现从腹部CT图像中端到端的3D多器官分割。
• 实现了三种Dice损失加权策略：均匀（Wu=1）、简单（Ws = N / (L|Rl| + ε)）和平方（Wq = N / (L|Rl|² + ε)），其中|Rl|表示类别l中的体素数量。
• 使用随机梯度下降法进行训练，采用两个初始学习率：μ = 0.001 和 μ = 0.01。
• 从完整CT图像中随机裁剪64×64×64的子体积，以支持小批量训练和全图推理。
• 使用Dice相似系数（DSC）在八个腹部器官上评估分割性能。
• 在加权公式中设置ε = 1，以防止除零错误。

实验结果

研究问题

• RQ1 Dice损失函数的均匀、简单和平方加权方式如何影响多个腹部器官的分割精度？
• RQ2 初始学习率（0.001与0.01）的变化对基于Dice的损失函数的收敛性和性能有何影响？
• RQ3 哪种损失加权与学习率的组合能在所有器官上实现最高的平均Dice分数？
• RQ4 类别不平衡和体素频率如何影响不同Dice损失加权方案的有效性？
• RQ5 不同加权方案之间的训练动态（如损失曲线行为）是否存在显著差异，表明其收敛模式不同？

主要发现

• 在学习率为0.001时，均匀加权方案在全部八个器官上实现了最高的平均Dice分数（81.3%）。
• 在学习率为0.01时，简单加权方案表现最佳，平均Dice分数达到81.0%，显著提升了主动脉、门静脉和胰腺的分割性能。
• 在μ = 0.01时，平方加权方案表现出显著改进，平均Dice分数达到58.5%，尤其增强了肝脏、脾脏和胃的分割效果。
• 简单加权方案在学习率提高后获得了最大的性能提升——从μ = 0.001时的59.5%提升至μ = 0.01时的81.0%。
• 训练曲线显示，均匀加权模型在10,000次迭代后即实现收敛，而简单和平方方案在10,000次迭代后仍具有进一步提升的潜力。
• 尽管未使用数据增强，也未观察到明显的过拟合现象，表明训练数据集足够大且具有多样性。