[论文解读] FOMTrace: Interactive Video Segmentation By Image Graphs and Fuzzy Object Models

Thiago V. Spina, Alexandre X. Falcão|arXiv (Cornell University)|Jun 10, 2016

Visual Attention and Saliency Detection参考文献 48被引用 5

一句话总结

FOMTrace 是一种交互式视频分割方法，通过结合时空超像素图与模糊对象模型（FOM），实现对快速运动、形变明显且存在遮挡及背景颜色相似情况下的对象的精确、用户引导分割。该方法通过时间传播标签并利用 FOM 在像素图上约束边界划分，实现迭代细化，仅需最少的用户交互即可达到最先进性能。

ABSTRACT

Common users have changed from mere consumers to active producers of multimedia data content. Video editing plays an important role in this scenario, calling for simple segmentation tools that can handle fast-moving and deformable video objects with possible occlusions, color similarities with the background, among other challenges. We present an interactive video segmentation method, named FOMTrace, which addresses the problem in an effective and efficient way. From a user-provided object mask in a first frame, the method performs semi-automatic video segmentation on a spatiotemporal superpixel-graph, and then estimates a Fuzzy Object Model (FOM), which refines segmentation of the second frame by constraining delineation on a pixel-graph within a region where the object's boundary is expected to be. The user can correct/accept the refined object mask in the second frame, which is then similarly used to improve the spatiotemporal video segmentation of the remaining frames. Both steps are repeated alternately, within interactive response times, until the segmentation refinement of the final frame is accepted by the user. Extensive experiments demonstrate FOMTrace's ability for tracing objects in comparison with state-of-the-art approaches for interactive video segmentation, supervised, and unsupervised object tracking.

研究动机与目标

• 解决快速运动、形变明显且与背景颜色相似的对象在视频分割中的准确性与效率挑战。
• 在保持用户对分割精度控制的前提下，最小化用户交互时间。
• 通过集成模糊对象模型，逐帧优化边界预测，提升时空分割性能。
• 通过用户修正与自动传播之间的反馈回路，实现逐帧迭代细化。

提出的方法

• FOMTrace 从输入视频构建时空超像素图，以实现高效的时空分割传播。
• 利用用户在首帧提供的掩码，通过超像素图上的图像森林变换（IFT-SC）将标签传播至后续帧。
• 从预测标签与前一帧最终标签中估计模糊对象模型（FOM），以表征边界不确定性的程度。
• 利用加权组合的预测标签与传播标签，使用 FOM 在当前帧的像素图上约束分割细化。
• 通过允许用户修正或接受细化后的掩码，将用户反馈整合，该掩码随后成为下一帧分割的输入。
• 该过程逐帧迭代进行，每一步均自动重新传播，以应对运动与形变。

实验结果

研究问题

• RQ1 如何在最小化用户工作量的前提下，使交互式视频分割对快速运动与形变保持鲁棒性？
• RQ2 模糊对象模型在不确定性条件下对视频分割边界划分的改进程度如何？
• RQ3 结合 FOM 与用户反馈的迭代细化方法是否能超越当前最先进的交互式与基于跟踪的分割方法？
• RQ4 时空超像素图与 FOM 的集成如何提升分割的准确性与效率？

主要发现

• FOMTrace 在性能上与最先进的交互式视频分割、有监督与无监督跟踪方法相当。
• 通过使用 FOM 约束边界搜索，该方法有效减少了前景与背景颜色相似区域的分割误差。
• 用户修正能高效向前传播，保持帧间一致性的同时支持迭代细化。
• 采用自适应阈值的加权 FOM（OWt）在弱边界区域提升了分割性能，减少了漏检。
• 实验表明，尽管存在重复的自动传播与细化，FOMTrace 仍能保持交互式响应时间。
• 该方法具有灵活性与可扩展性，未来可与时间超像素及分层超体素线索集成。