[论文解读] Deep GrabCut for Object Selection

Ning Xu, Brian Price+3 more|arXiv (Cornell University)|Jul 2, 2017

Advanced Neural Network Applications参考文献 17被引用 14

一句话总结

本文提出 Deep GrabCut，一种深度学习方法，通过将输入矩形转换为欧氏距离图来提升目标分割的鲁棒性。通过在 U-Net 风格的编码器-解码器网络中融合图像与距离图，该模型即使在边界框位置不佳的情况下也能实现精确且具备上下文感知能力的分割，无需微调即可泛化至任意闭合曲线，并通过基于 CRF 的标注方法提升实例级语义分割性能。

ABSTRACT

Most previous bounding-box-based segmentation methods assume the bounding box tightly covers the object of interest. However it is common that a rectangle input could be too large or too small. In this paper, we propose a novel segmentation approach that uses a rectangle as a soft constraint by transforming it into an Euclidean distance map. A convolutional encoder-decoder network is trained end-to-end by concatenating images with these distance maps as inputs and predicting the object masks as outputs. Our approach gets accurate segmentation results given sloppy rectangles while being general for both interactive segmentation and instance segmentation. We show our network extends to curve-based input without retraining. We further apply our network to instance-level semantic segmentation and resolve any overlap using a conditional random field. Experiments on benchmark datasets demonstrate the effectiveness of the proposed approaches.

研究动机与目标

• 解决基于边界框的分割方法在边界框位置不佳或过松时失效的局限性。
• 通过引入超越局部颜色与边缘特征的全局上下文和空间关系，提升分割精度。
• 通过使用松散或不精确的矩形作为输入，实现鲁棒且通用的目标选择。
• 在不重新训练的情况下将方法扩展至任意闭合曲线，以支持更灵活的用户交互。
• 通过基于 CRF 的标注方法解决重叠问题，提升实例级语义分割性能。

提出的方法

• 将输入矩形转换为欧氏距离图，以编码空间关系与目标接近程度。
• 将 RGB 图像与距离图拼接作为输入，输入至 U-Net 风格的编码器-解码器网络（CEDN）中，实现端到端训练。
• 在松散放置的边界框上进行网络训练，以提升对边界框位置不佳的鲁棒性。
• 使用条件随机场（CRF）解决重叠检测问题，并生成唯一的实例级标签。
• 通过相同的距离计算方法将曲线转换为距离图，使已训练的网络可直接应用于基于曲线的输入。
• 利用模型对全局上下文的理解，在输入形状并非紧密边界框时仍保持高精度。

实验结果

研究问题

• RQ1 当输入为松散或位置不佳的边界框时，深度学习模型能否实现准确的目标分割？
• RQ2 与传统边界框方法相比，引入距离图表示在多大程度上提升了分割的鲁棒性？
• RQ3 仅在矩形输入上训练的模型能否有效泛化至任意闭合曲线（如圆形或自由形状）？
• RQ4 与仅依赖局部颜色与边缘特征的模型相比，模型对全局上下文的利用在多大程度上提升了分割精度？
• RQ5 基于 CRF 的标注方法在解决复杂场景中重叠检测的实例级语义分割问题时，效果如何？

主要发现

• 在所有边界框 IoU 分箱中，所提方法的平均交并比（mIoU）均高于基线方法，且掩码 IoU 始终高于检测 IoU（例如在检测 IoU 为 0.6 时，掩码 IoU 达 0.7 vs. 0.6）。
• 与基线方法相比，该模型在边界框抖动（最大 ±128 像素）下表现出显著更低的性能下降，证明了对输入位置的鲁棒性。
• 该模型无需重新训练即可有效泛化至任意闭合曲线，支持对部分对象（如一块石头的一半）的精确选择，而传统边界框无法实现此类隔离。
• 基于 CRF 的标注方法成功解决了重叠检测问题，保持了标签的一致性，在复杂场景中优于朴素的分数阈值基线方法。
• 视觉结果表明，即使边界框过小或过大，该方法仍能生成准确且连贯的掩码，并能有效处理内部框或覆盖整张图像的框等挑战性情况。
• 该方法在基准数据集上保持了高性能，证明其在多样化目标形状与上下文下的强大泛化能力。