[论文解读] Learning Video Object Segmentation from Static Images

Anna Khoreva, Federico Perazzi+3 more|arXiv (Cornell University)|Dec 8, 2016

Video Surveillance and Tracking Methods参考文献 42被引用 70

一句话总结

本文提出了一种新颖的视频对象分割方法，通过将该任务视为使用仅在静态图像上训练的卷积神经网络进行引导实例分割。通过结合离线优化与基于前一帧预测的在线微调，该方法在极少标注的情况下实现了高精度分割——仅使用10%的帧标注（甚至仅提供边界框作为输入），即达到86%的平均交并比（mIoU）。

ABSTRACT

Inspired by recent advances of deep learning in instance segmentation and object tracking, we introduce video object segmentation problem as a concept of guided instance segmentation. Our model proceeds on a per-frame basis, guided by the output of the previous frame towards the object of interest in the next frame. We demonstrate that highly accurate object segmentation in videos can be enabled by using a convnet trained with static images only. The key ingredient of our approach is a combination of offline and online learning strategies, where the former serves to produce a refined mask from the previous frame estimate and the latter allows to capture the appearance of the specific object instance. Our method can handle different types of input annotations: bounding boxes and segments, as well as incorporate multiple annotated frames, making the system suitable for diverse applications. We obtain competitive results on three different datasets, independently from the type of input annotation.

研究动机与目标

• 通过消除对密集像素级标注视频数据的需求，解决视频对象分割中高昂的标注成本问题。
• 仅使用静态图像标注实现高精度视频对象分割，降低对昂贵视频级标注的依赖。
• 开发一种通用且高效的系统，实现逐帧分割而无需全局优化，适用于长视频序列。
• 在多种标注类型（包括边界框和稀疏分割掩码）下展现鲁棒性。
• 使用单一统一模型和参数，在多个异构基准测试上实现具有竞争力的性能。

提出的方法

• 使用预训练的实例分割网络，通过前一帧的掩码预测作为引导，逐帧进行分割。
• 离线学习阶段训练网络，利用变形和粗化操作对静态图像掩码进行粗糙估计的优化。
• 在线微调阶段利用首帧或多帧标注结果，将网络适配到新视频中的特定对象实例。
• 系统采用前馈架构实现实时推理，避免全局时空优化。
• 输入标注灵活：该方法支持边界框、分割掩码或多帧标注。
• 对于边界框标注，系统将其转换为伪分割掩码，并应用相同的分割头，从而实现从边界框端到端的训练。

实验结果

研究问题

• RQ1 仅在静态图像上训练的模型是否能在无需视频级标注的情况下实现高精度视频对象分割？
• RQ2 利用前一帧预测作为时间监督形式的引导实例分割效果如何？
• RQ3 仅使用边界框标注能否支持与完整掩码标注相当的分割性能？
• RQ4 标注帧的数量和分布如何影响不同视频数据集上的分割质量？
• RQ5 一个单一的通用模型是否能使用相同参数在多种多样的视频基准上实现一致的泛化性能？

主要发现

• 当仅标注10%的帧时，该方法在DAVIS数据集上达到86%的平均交并比（mIoU），表明在极小监督下仍具有强大性能。
• 仅使用每视频一帧标注时，该方法达到85% mIoU，显示出极高的标注使用效率。
• 即使仅使用边界框标注，系统在第30百分位数时仍达到80% mIoU，表明对弱监督具有强大鲁棒性。
• 当使用10%标注帧及分割掩码时，第20百分位数帧的mIoU仍保持在81%，表明在大多数帧上性能稳定。
• 当标注帧数从1帧增至2或3帧（即从1%增至3%再增至4%的帧数）时，性能显著提升，表明额外标注具有强大增益。
• 作为基线，仅复制最近标注帧的预测结果在10%标注率下仅达到64% mIoU，凸显本方法相对于简单基线的显著优势。