[论文解读] DeepCut: Object Segmentation from Bounding Box Annotations using Convolutional Neural Networks

Martin Rajchl, Matthew C. H. Lee+9 more|arXiv (Cornell University)|May 25, 2016

Advanced Neural Network Applications参考文献 36被引用 7

一句话总结

DeepCut 提出了一种弱监督方法，仅使用边界框标注即可实现像素级目标分割，通过迭代优化卷积神经网络（CNN）分类器和全连接条件随机场（CRF）进行正则化。该方法在从 MRI 扫描中分割胎儿脑部和肺部结构方面表现出高精度，优于朴素的 CNN 训练方法和传统方法（如 GrabCut）。

ABSTRACT

In this paper, we propose DeepCut, a method to obtain pixelwise object segmentations given an image dataset labelled with bounding box annotations. It extends the approach of the well-known GrabCut method to include machine learning by training a neural network classifier from bounding box annotations. We formulate the problem as an energy minimisation problem over a densely-connected conditional random field and iteratively update the training targets to obtain pixelwise object segmentations. Additionally, we propose variants of the DeepCut method and compare those to a naive approach to CNN training under weak supervision. We test its applicability to solve brain and lung segmentation problems on a challenging fetal magnetic resonance dataset and obtain encouraging results in terms of accuracy.

研究动机与目标

• 通过利用边界框标注的弱监督，解决医学影像中像素级分割的高标注成本问题。
• 在仅使用有限标注的情况下，提升形状和外观高度相似的器官（如胎儿脑和肺）的分割精度。
• 开发一种结合深度学习与图模型的方法，通过迭代优化预测结果和训练目标。
• 在具有高度解剖变异性的实际胎儿 MRI 数据集上，验证该方法的可行性和鲁棒性。

提出的方法

• 将目标分割建模为在密集连接的条件随机场（CRF）上的能量最小化问题，整合外观先验和空间先验。
• 训练一个卷积神经网络（CNN），基于边界框标注将图像块分类为对象或背景，并通过迭代目标优化进行训练。
• 应用全连接 CRF 对分割输出进行正则化，强制实现像素间的空间一致性和平滑性。
• 通过 CRF 预测的分割掩码，迭代更新 CNN 的训练目标，形成反馈回路，提升模型泛化能力。
• 引入 DeepCut 的变体，包括使用预分割结果初始化（DC_PS）和仅使用边界框初始化（DC_BB），以评估初始化方式的敏感性。
• 采用联合优化框架，每轮迭代中调整 CRF 参数（如强度权重和空间权重），以提升分割质量。

实验结果

研究问题

• RQ1 是否仅使用边界框标注即可实现高精度的像素级分割，而无需完整的像素级标注？
• RQ2 与标准弱监督 CNN 训练相比，通过 CRF 迭代优化训练目标在分割性能上有多大提升？
• RQ3 初始化方式（边界框 vs. 预分割）对分割模型收敛性和精度有何影响？
• RQ4 在复杂医学影像任务中，DeepCut 与传统方法（如 GrabCut）相比，分割精度如何？
• RQ5 在胎儿 MRI 中存在多种解剖变异的情况下，基于弱监督数据训练的 CNN 模型在泛化能力上能达到何种程度？

主要发现

• 在弱监督条件下，DeepCut 显著优于朴素的 CNN 训练方法，在脑部和肺部分割任务中均获得更高的 Dice 评分。
• 使用预分割结果初始化可显著提升分割精度，即使预分割结果不完美，也表明该方法对初始化质量具有鲁棒性。
• 该方法在胎儿脑部和肺部分割中均实现了高精度，其中脑部分割的平均重叠（Dice）高于肺部，原因在于脑部对比度更高、目标更易区分。
• CRF 正则化有效减少了低对比度区域的误报，且调优后的 CRF 参数（如 θβ）能适应图像特有的强度差异。
• DeepCut 变体（尤其是 DC_PS，即预分割初始化）的性能标准差更低，表明其相比 GrabCut 等方法更具鲁棒性。
• CNN 训练与 CRF 推理之间的迭代反馈机制可引导模型收敛至更优的局部最优解，证明了联合优化相比标准单次训练的优越性。