[论文解读] LooseCut: Interactive Image Segmentation with Loosely Bounded Boxes

Hongkai Yu, Youjie Zhou+7 more|arXiv (Cornell University)|Jul 11, 2015

Visual Attention and Saliency Detection参考文献 21被引用 15

一句话总结

本文提出了一种名为 LooseCut 的新型交互式图像分割方法，通过引入具有全局相似性约束和标签一致性项的马尔可夫随机场（MRF）模型，有效处理仅部分覆盖前景物体的松散边界框——即输入边界框仅部分覆盖目标对象。该方法即使在初始外观模型不准确时，也能显著提升前景-背景分离效果与标注准确性，在多个基准测试中优于当前最先进算法，并在无监督视频分割和显著性检测任务中表现优异。

ABSTRACT

One popular approach to interactively segment the foreground object of interest from an image is to annotate a bounding box that covers the foreground object. Then, a binary labeling is performed to achieve a refined segmentation. One major issue of the existing algorithms for such interactive image segmentation is their preference of an input bounding box that tightly encloses the foreground object. This increases the annotation burden, and prevents these algorithms from utilizing automatically detected bounding boxes. In this paper, we develop a new LooseCut algorithm that can handle cases where the input bounding box only loosely covers the foreground object. We propose a new Markov Random Fields (MRF) model for segmentation with loosely bounded boxes, including a global similarity constraint to better distinguish the foreground and background, and an additional energy term to encourage consistent labeling of similar-appearance pixels. This MRF model is then solved by an iterated max-flow algorithm. In the experiments, we evaluate LooseCut in three publicly-available image datasets, and compare its performance against several state-of-the-art interactive image segmentation algorithms. We also show that LooseCut can be used for enhancing the performance of unsupervised video segmentation and image saliency detection.

研究动机与目标

• 解决现有交互式分割方法对紧密边界框的依赖问题，降低用户标注负担。
• 实现在输入边界框仅松散覆盖前景对象（包括自动生成的提议框）时的鲁棒分割。
• 在边界框中因背景污染导致初始外观模型不准确的情况下，提升分割精度。
• 利用所提方法提升下游任务（如无监督视频分割和图像显著性检测）的性能。
• 开发一种新型基于 MRF 的优化框架，在保持效率的同时增强对松散边界框的鲁棒性。

提出的方法

• 将前景/背景分割建模为图像网格上的二值标签问题，采用高斯混合模型（GMM）进行外观建模。
• 引入全局相似性约束，显式强调前景与背景外观之间的差异，即使在初始模型噪声较大时也能提升分离效果。
• 增加标签一致性能量项，鼓励外观相似的像素（无论是否相邻）获得相同标签，从而增强对模糊区域的鲁棒性。
• 将两项约束整合进统一的 MRF 能量函数，并采用迭代最大流算法实现高效优化。
• 利用所得分割结果迭代地优化外观模型，类似于 GrabCut，但收敛性与鲁棒性更优。
• 在两项下游应用中复用该方法：通过时间一致性实现无监督视频分割，通过多分割结果的概率融合实现显著性检测。

实验结果

研究问题

• RQ1 当输入边界框仅松散覆盖前景对象时，该分割方法能否保持高精度？
• RQ2 在松散边界框条件下，引入全局相似性约束如何提升分割性能？
• RQ3 对相似外观像素强制执行标签一致性在多大程度上增强了分割的鲁棒性？
• RQ4 LooseCut 是否能在标准基准测试中，于松散边界框条件下超越当前最先进交互式分割算法？
• RQ5 LooseCut 是否能有效复用于提升无监督视频分割与图像显著性检测任务的性能？

主要发现

• 在 Weizman 数据集上，LooseCut 的 F-measure 达到 0.826；在 iCoseg 数据集上为 0.841；在 PASCAL 数据集上为 0.808，优于 GrabCut、OneCut 和 pPBC。
• 在显著性对象数据集上，LooseCut 的精确率为 0.84，召回率为 0.78，F-measure 为 0.78，优于 GrabCut、OneCut 和 pPBC，并与 FT 方法性能相当，同时使用了边界框引导。
• 消融实验表明，若移除全局相似性约束，Weizman 数据集上的 F-measure 降至 0.788；若移除标签一致性项，则降至 0.822，证实两项组件均有贡献。
• 全局相似性约束对性能提升的贡献大于标签一致性项，表现为移除该约束时 F-measure 下降幅度更大。
• LooseCut 在 1024×1024 图像上平均耗时 66.52 秒，相较于 OneCut（77.80 秒）和 pPBC（305.60 秒）具有可接受的效率。
• 失败案例出现在前景与背景外观高度相似时，因方法依赖外观差异进行分割引导。