[论文解读] Learning Referring Video Object Segmentation from Weak Annotation

Wangbo Zhao, Kepan Nan+4 more|arXiv (Cornell University)|Aug 4, 2023

Advanced Neural Network ApplicationsComputer Science被引用 3

一句话总结

本文提出了一种弱监督标注方案，用于指代视频实例分割（RVOS），通过仅在目标对象首次出现时使用单个掩码，后续帧使用边界框，将标注成本降低了8倍。该方法采用基于语言引导的跨帧分割与双层对比学习的SimRVOS，其性能与全监督方法相当，证明了在极少密集标注的情况下仍可学习到高质量的分割结果。

ABSTRACT

Referring video object segmentation (RVOS) is a task that aims to segment the target object in all video frames based on a sentence describing the object. Although existing RVOS methods have achieved significant performance, they depend on densely-annotated datasets, which are expensive and time-consuming to obtain. In this paper, we propose a new annotation scheme that reduces the annotation effort by 8 times, while providing sufficient supervision for RVOS. Our scheme only requires a mask for the frame where the object first appears and bounding boxes for the rest of the frames. Based on this scheme, we develop a novel RVOS method that exploits weak annotations effectively. Specifically, we build a simple but effective baseline model, SimRVOS, for RVOS with weak annotation. Then, we design a cross frame segmentation module, which uses the language-guided dynamic filters from one frame to segment the target object in other frames to thoroughly leverage the valuable mask annotation and bounding boxes. Finally, we develop a bi-level contrastive learning method to enhance the pixel-level discriminative representation of the model with weak annotation. We conduct extensive experiments to show that our method achieves comparable or even superior performance to fully-supervised methods, without requiring dense mask annotations.

研究动机与目标

• 降低指代视频实例分割（RVOS）中密集掩码标注的高昂成本，同时保持高性能。
• 设计一种实用且高效的标注方案，最大限度减少人工标注工作量，而不牺牲分割精度。
• 开发一种深度学习框架，有效利用弱监督信号——即在各帧中仅使用一个掩码和边界框——实现端到端的RVOS。
• 通过一种新颖的双层对比学习策略，提升弱监督下像素级特征的判别能力。

提出的方法

• 提出一种新型标注方案：在目标首次出现的首帧使用单个掩码，其余帧使用边界框，使标注成本降低8倍。
• 引入SimRVOS，一种简单但高效的基线模型，利用跨模态融合与语言引导的动态卷积生成分割掩码。
• 设计语言引导的跨帧分割（LGCFS）模块，将一帧的动态滤波器传递至其他帧，以利用掩码和边界框的监督信号。
• 开发一种双层对比学习（BLCL）方法，包含两个组件：(a) 语言-视觉对比，用于对齐语言与前景视觉特征；(b) 一致性对比，用于提升帧间鲁棒性。
• 利用LGCFS模块在帧间传播掩码监督，同时将边界框作为辅助监督，提升在外观变化下的泛化能力。
• 使用弱标注端到端训练模型，实现强大性能，而无需密集像素级标注。

实验结果

研究问题

• RQ1 仅使用单个掩码和边界框（而非密集掩码标注）的指代视频实例分割模型能否实现具有竞争力的性能？
• RQ2 在弱监督下，如何有效传递并利用首帧的宝贵掩码监督信号，以覆盖所有视频帧？
• RQ3 当仅存在弱标注时，双层对比学习在多大程度上能提升像素级特征的判别能力？
• RQ4 弱监督的RVOS框架能否在无需密集标注的情况下，超越或匹配全监督方法的性能？

主要发现

• 所提出的弱标注方案在YouTube-RVOS数据集上验证后，相比全密集标注将标注成本降低了8倍。
• 在JHMDB-Sentences基准上，该模型实现了62.7的平均IoU，优于在弱监督下表现的全监督方法LBDT和MTTR。
• 采用所提出的LGCFS与BLCL模块的SimRVOS在JHMDB-Sentences数据集上达到65.8%的mAP，超越全监督方法LBDT（65.8% mAP），并达到ReferFormer（69.3% mAP）的整体性能水平。
• 双层对比学习方法显著提升了特征判别性，如在多个基准上IoU及P@0.5至P@0.9指标的一致性提升所证实。
• LGCFS模块实现了帧间有效的掩码传播，其预测精度高于仅使用边界框的结果，如定性比较所示。
• 该方法在不同数据集间泛化良好，在JHMDB-Sentences上实现强零样本性能，无需微调，表明对领域偏移具有鲁棒性。