[论文解读] Language as Queries for Referring Video Object Segmentation

Jiannan Wu, Yi Jiang+3 more|arXiv (Cornell University)|Jan 3, 2022

Advanced Image and Video Retrieval Techniques被引用 5

一句话总结

本文提出 ReferFormer，一种基于 Transformer 的统一框架，将语言描述作为动态查询，直接关注并分割视频帧中的被指对象。通过将对象查询与语言输入条件化，该方法实现了端到端的分割与跟踪，性能达到当前最先进水平，在使用 Swin-Large 主干网络的情况下，Ref-Youtube-VOS 数据集上的 J&F 达到 64.2。

ABSTRACT

Referring video object segmentation (R-VOS) is an emerging cross-modal task that aims to segment the target object referred by a language expression in all video frames. In this work, we propose a simple and unified framework built upon Transformer, termed ReferFormer. It views the language as queries and directly attends to the most relevant regions in the video frames. Concretely, we introduce a small set of object queries conditioned on the language as the input to the Transformer. In this manner, all the queries are obligated to find the referred objects only. They are eventually transformed into dynamic kernels which capture the crucial object-level information, and play the role of convolution filters to generate the segmentation masks from feature maps. The object tracking is achieved naturally by linking the corresponding queries across frames. This mechanism greatly simplifies the pipeline and the end-to-end framework is significantly different from the previous methods. Extensive experiments on Ref-Youtube-VOS, Ref-DAVIS17, A2D-Sentences and JHMDB-Sentences show the effectiveness of ReferFormer. On Ref-Youtube-VOS, Refer-Former achieves 55.6J&F with a ResNet-50 backbone without bells and whistles, which exceeds the previous state-of-the-art performance by 8.4 points. In addition, with the strong Swin-Large backbone, ReferFormer achieves the best J&F of 64.2 among all existing methods. Moreover, we show the impressive results of 55.0 mAP and 43.7 mAP on A2D-Sentences andJHMDB-Sentences respectively, which significantly outperforms the previous methods by a large margin. Code is publicly available at https://github.com/wjn922/ReferFormer.

研究动机与目标

• 解决现有两流流水线在指代性视频目标分割（R-VOS）中的局限性，包括复杂的多阶段设计和次优的跨模态推理。
• 克服自下而上的方法中缺乏显式的实例级监督以及在场景变化下泛化能力差的问题。
• 通过条件注意力机制在帧间自然关联查询，消除对后处理跟踪的依赖。
• 开发一种统一的、端到端的框架，仅使用视频和语言输入，联合实现目标检测、分割与跟踪。

提出的方法

• 引入一组基于输入语言表达条件化的可学习对象查询，限制其仅关注被指对象。
• 利用这些条件化查询作为动态核，通过一种新颖的动态核机制过滤特征图并生成分割掩码。
• 设计一种跨模态特征金字塔网络（CM-FPN），实现在多尺度下细粒度的视觉-语言特征交互。
• 采用基于查询的标签分配策略，结合分类、边界框和掩码匹配代价，优化目标定位。
• 通过实例匹配在帧间链接对应查询，实现无需后处理的端到端视频目标跟踪。
• 利用基于 Transformer 的解码器，在一次前向传播中同时生成分割掩码、检测框和分类分数。

实验结果

研究问题

• RQ1 能否直接将语言用作查询，引导注意力聚焦于视频帧中的被指对象，从而简化 R-VOS 流程？
• RQ2 基于条件查询的统一端到端框架是否在准确率和效率上优于现有的两阶段或自下而上的方法？
• RQ3 在存在相似对象的复杂场景中，条件查询的数量如何影响性能与鲁棒性？
• RQ4 跨模态特征融合在遮挡或光照变化等挑战性视觉条件下，对分割性能的提升程度如何？
• RQ5 能否通过帧间查询链接自然实现目标跟踪，而无需额外的后处理？

主要发现

• 使用 ResNet-50 主干网络时，ReferFormer 在 Ref-Youtube-VOS 上达到 55.6 J&F，超越此前 SOTA 8.4 个百分点。
• 使用 Swin-Large 主干网络时，ReferFormer 在 Ref-Youtube-VOS 上达到 64.2 J&F，创下新的 SOTA 性能记录。
• 在 A2D-Sentences 数据集上，ReferFormer 达到 55.0 mAP，显著优于先前方法。
• 在 JHMDB-Sentences 数据集上，其 mAP 达到 43.7，展现出对以动作为中心的指代表达的强大泛化能力。
• 消融实验表明，使用 5 个条件查询可获得最佳性能，超过该数量后性能下降，原因在于标签分配失衡。
• 将训练片段帧数从 1 增加到 5，J&F 提升 5.0 个百分点，凸显了时间建模的重要性。