[论文解读] Click Carving: Segmenting Objects in Video with Point Clicks

Suyog Dutt Jain, Kristen Grauman|arXiv (Cornell University)|Jul 5, 2016

Visual Attention and Saliency Detection被引用 14

一句话总结

Click Carving 是一种新颖的交互式视频物体分割方法，通过少量边界点击来优化数千个预先计算的物体区域提议——利用图像和运动线索——并在视频中传播最佳掩码。该方法在显著减少人工参与的前提下实现了最先进水平的精度，每段视频仅需 2–4 次点击，相比以往的交互式方法将标注时间减少了 50%以上。

ABSTRACT

We present a novel form of interactive video object segmentation where a few clicks by the user helps the system produce a full spatio-temporal segmentation of the object of interest. Whereas conventional interactive pipelines take the user's initialization as a starting point, we show the value in the system taking the lead even in initialization. In particular, for a given video frame, the system precomputes a ranked list of thousands of possible segmentation hypotheses (also referred to as object region proposals) using image and motion cues. Then, the user looks at the top ranked proposals, and clicks on the object boundary to carve away erroneous ones. This process iterates (typically 2-3 times), and each time the system revises the top ranked proposal set, until the user is satisfied with a resulting segmentation mask. Finally, the mask is propagated across the video to produce a spatio-temporal object tube. On three challenging datasets, we provide extensive comparisons with both existing work and simpler alternative methods. In all, the proposed Click Carving approach strikes an excellent balance of accuracy and human effort. It outperforms all similarly fast methods, and is competitive or better than those requiring 2 to 12 times the effort.

研究动机与目标

• 通过将用户绘制的掩码转换为最少的点击点，减少交互式视频物体分割中的人工标注工作量。
• 通过系统主动生成并优化物体区域提议，再结合用户反馈，提升分割精度。
• 探究边界点击在引导分割优化方面是否比内部点击更有效。
• 与传统交互式分割流程相比，评估基于点击的界面在效率和精度方面的表现。

提出的方法

• 系统在每个视频帧中利用图像一致性和运动边界线索，预先计算数千个物体区域提议。
• 用户通过点击顶部提议中物体边界的点进行交互，从而‘剔除’错误的假设。
• 每次点击动态重新排序提议集合，基于用户反馈聚焦于最合理的候选对象。
• 最终选定的掩码通过现有传播算法在视频中传播，生成完整的时空物体轨迹。
• 该方法使用模拟用户模型分析点击策略，以优化交互效率。
• 采用单帧选择策略（例如每 100 帧选择一帧）以最小化冗余用户输入，同时最大化分割质量。

实验结果

研究问题

• RQ1 在视频分割中，边界点击是否比内部点击更有效地用于优化物体提议？
• RQ2 基于系统驱动的假设生成方法是否能在保持或提升分割精度的同时减少人工标注工作量？
• RQ3 Click Carving 在精度和时间效率方面与迭代式多帧标注方法相比表现如何？
• RQ4 实现高质量分割且用户输入最少时，最优的点击数量和位置是什么？
• RQ5 基于点击的界面是否能在速度和精度两方面均优于传统的边界框或草图方法？

主要发现

• 在 iVideoSeg 数据集上，Click Carving 仅需 54.35 秒的用户标注时间，平均交并比（IoU）达到 77.68，精度超过最先进方法 [15]，同时将标注时间减少一半。
• 在 iVideoSeg 数据集上，Click Carving 在精度和效率方面均显著优于 [1] 和 [43]。
• 仅增加一次点击，Click Carving 在全部三段测试视频上均优于 TouchCut [18]，像素误差从平均 230.3 降低至 198.0。
• 模拟用户研究证实，边界点击在区分优质与劣质提议方面显著优于内部点击。
• 该方法平均每段视频仅需 2–4 次点击即可实现高质量分割，展现出极强的效率。
• Click Carving 在仅需 2 至 12 倍于传统方法的人工工作量下，实现了具有竞争力或更优的结果，确立了速度与精度之间新的平衡。