[论文解读] Blazingly Fast Video Object Segmentation with Pixel-Wise Metric Learning

Yuhua Chen, Jordi Pont-Tuset+2 more|arXiv (Cornell University)|Apr 9, 2018

Visual Attention and Saliency Detection参考文献 38被引用 17

一句话总结

本文提出了一种基于全卷积网络和改进三元组损失的像素级度量学习方法，实现了极快的视频实例分割速度。通过将同一对象的像素在学习空间中嵌入得更近，并利用最近邻搜索对其他像素进行分类，该方法在半监督设置下实现了每帧275毫秒的推理速度，达到SOTA精度；在交互式场景中仅需每帧0.15次点击即可达到相当的性能。

ABSTRACT

This paper tackles the problem of video object segmentation, given some user annotation which indicates the object of interest. The problem is formulated as pixel-wise retrieval in a learned embedding space: we embed pixels of the same object instance into the vicinity of each other, using a fully convolutional network trained by a modified triplet loss as the embedding model. Then the annotated pixels are set as reference and the rest of the pixels are classified using a nearest-neighbor approach. The proposed method supports different kinds of user input such as segmentation mask in the first frame (semi-supervised scenario), or a sparse set of clicked points (interactive scenario). In the semi-supervised scenario, we achieve results competitive with the state of the art but at a fraction of computation cost (275 milliseconds per frame). In the interactive scenario where the user is able to refine their input iteratively, the proposed method provides instant response to each input, and reaches comparable quality to competing methods with much less interaction.

研究动机与目标

• 解决交互式和现实应用场景中实时、高精度视频实例分割的缺乏问题。
• 克服现有SOTA方法计算成本过高的问题，这些方法通常每帧需要数秒时间。
• 实现实时、高效的交互式分割，用户可通过最少的输入迭代优化结果。
• 开发一个统一框架，支持点击、涂抹或掩码等多种用户输入方式，且无需重新训练。
• 通过学习的嵌入空间实现像素级检索，以最小用户交互实现高精度分割。

提出的方法

• 训练一个全卷积网络（FCN），利用为视频实例分割量身定制的改进三元组损失，将视频像素映射到度量嵌入空间。
• 将视频实例分割建模为像素级检索：标注像素作为参考点，其余所有像素通过在嵌入空间中的最近邻搜索进行分类。
• 将嵌入计算与用户输入解耦，使得预计算的嵌入可被多次用户交互复用。
• 在单一统一的推理流程中支持多种用户输入（如点击、掩码、涂抹）。
• 通过机器人模拟用户研究评估交互性能，基于误分类像素进行迭代优化。
• 通过将每个对象在嵌入空间中视为独立的参考聚类，将方法扩展至多对象场景。

实验结果

研究问题

• RQ1 基于度量学习的方法是否能在保持亚秒级推理速度的同时，实现视频实例分割的SOTA精度？
• RQ2 在学习的嵌入空间中，像素级检索在半监督和交互式视频分割中分别有多高效？
• RQ3 在不牺牲分割质量的前提下，用户交互可被最小化到何种程度？
• RQ4 该方法对用户提供的点击点选择的鲁棒性如何，尤其是在缺乏真实标签指导的情况下？
• RQ5 该方法在存在遮挡和复杂交互的多对象视频中是否具有良好的泛化能力？

主要发现

• 在半监督设置下，该方法在DAVIS 2016数据集上达到77.5%的J&F，每帧仅需275毫秒，其速度-精度权衡优于其他快速方法。
• 在交互式场景中，该方法在整段视频仅使用10次点击的情况下达到74.5%的J&F，展现出极高的用户交互效率。
• 仅需每帧0.15次点击，该方法即可实现75.5%的J分数，与完整掩码首帧标注的性能相当，但用户工作量大幅降低。
• 真实用户研究表明，平均每帧0.17次点击即可达到77.7%的J分数，分割时间约为24秒，远低于完整掩码标注所需的3分钟以上。
• 该方法在多对象视频中表现良好，在DAVIS 2017数据集上仅需每帧0.5次点击，显著优于基线方法的效率。
• 在重复模拟中性能方差极低（每帧1次点击时为0.1），表明对点击点选择具有高度鲁棒性。