[论文解读] Fast Video Object Segmentation using the Global Context Module

Yu Li, Zhuoran Shen+1 more|arXiv (Cornell University)|Jan 30, 2020

Visual Attention and Saliency Detection参考文献 43被引用 8

一句话总结

本文提出了一种新颖的全局上下文模块，用于实现高精度、实时的半监督视频实例分割。通过保持所有历史帧的固定大小特征表示，该方法在DAVIS和YouTube-VOS基准上实现了最先进性能，同时推理速度比先前最先进方法——时空记忆网络（STM）快三倍，且内存效率显著更高。

ABSTRACT

We developed a real-time, high-quality semi-supervised video object segmentation algorithm. Its accuracy is on par with the most accurate, time-consuming online-learning model, while its speed is similar to the fastest template-matching method with sub-optimal accuracy. The core component of the model is a novel global context module that effectively summarizes and propagates information through the entire video. Compared to previous approaches that only use one frame or a few frames to guide the segmentation of the current frame, the global context module uses all past frames. Unlike the previous state-of-the-art space-time memory network that caches a memory at each spatio-temporal position, the global context module uses a fixed-size feature representation. Therefore, it uses constant memory regardless of the video length and costs substantially less memory and computation. With the novel module, our model achieves top performance on standard benchmarks at a real-time speed.

研究动机与目标

• 解决在半监督视频实例分割中实现高精度与实时性能的挑战。
• 克服现有时空记忆网络随视频长度线性增长带来的内存与计算效率低下问题。
• 开发一种紧凑的、固定大小的全局表征，汇总所有历史帧的分割信息，以指导当前帧的推理。
• 在外观变化、遮挡和尺寸变化等复杂条件下实现鲁棒分割，避免误差累积与内存溢出。
• 构建一种适用于长视频与实际应用场景（如智能视频编辑）的实用、可部署解决方案。

提出的方法

• 提出一种全局上下文模块，通过维护一个固定大小的特征表示，汇总所有先前处理帧的分割信息。
• 采用可学习的键机制，在空间位置上生成注意力图，通过加权求和聚合特征，形成全局上下文向量。
• 随着每帧新输入，增量式地更新全局上下文表征，确保内存与计算量不随视频长度增加而增长。
• 将全局上下文模块集成到分割网络中，利用长时序上下文信息指导逐帧预测。
• 应用一种软聚合后处理模块（主实验中未使用），可与所提方法兼容，以进一步提升性能。
• 在标准基准（DAVIS 2016、DAVIS 2017、YouTube-VOS）上进行训练与评估，采用标准指标如JIoU与F-measure。

实验结果

研究问题

• RQ1 固定大小的全局上下文表征能否有效捕捉并传播来自视频所有历史帧的分割知识？
• RQ2 此类表征能否在保持实时推理速度与低内存消耗的同时，实现最先进精度？
• RQ3 在遮挡、外观变化与尺寸变化等挑战性条件下，该方法性能如何？
• RQ4 与最先进方法STM相比，该方法的性能差距是多少？其主要成因是什么？
• RQ5 该全局上下文模块在YouTube-VOS等大规模基准中，对未见物体类别是否具备良好泛化能力？

主要发现

• 在DAVIS 2016基准上，所提方法达到最先进性能，平均JIoU为88.7%，F-measure为89.5%，与最佳在线学习模型表现相当。
• 在更具挑战性的DAVIS 2017与YouTube-VOS基准上，该方法表现具有竞争力，YouTube-VOS上平均JIoU为73.2，F-measure为75.7，位列顶尖方法之列。
• 该方法推理速度约为STM基线的三倍，且由于采用固定大小特征表示，内存消耗显著降低。
• STM与本方法之间的性能差距主要源于STM采用更宽松的测试协议，以及未在本工作中应用的后处理软聚合模块。
• 可视化结果表明，全局上下文模块能一致地捕捉前景与背景模式，有效应对遮挡与外观变化。
• 在YouTube-VOS中未见物体类别上，该方法性能下降极小，表明其具备强大的泛化能力。