[论文解读] MeViS: A Large-scale Benchmark for Video Segmentation with Motion Expressions

Henghui Ding, Chang Liu+3 more|arXiv (Cornell University)|Aug 16, 2023

Multimodal Machine Learning ApplicationsComputer Science被引用 3

一句话总结

本文提出 MeViS，一个大规模视频分割基准，用于基于运动表达的视频分割，强调时间运动而非静态属性。它提出了一种新颖的基线方法 LMPM，通过语言条件查询和运动感知特征聚合提升分割性能，在复杂场景中实现 37.2% 的 J&F 得分，显著高于以往方法，凸显了在复杂场景中基于运动引导的分割所面临的挑战。

ABSTRACT

This paper strives for motion expressions guided video segmentation, which focuses on segmenting objects in video content based on a sentence describing the motion of the objects. Existing referring video object datasets typically focus on salient objects and use language expressions that contain excessive static attributes that could potentially enable the target object to be identified in a single frame. These datasets downplay the importance of motion in video content for language-guided video object segmentation. To investigate the feasibility of using motion expressions to ground and segment objects in videos, we propose a large-scale dataset called MeViS, which contains numerous motion expressions to indicate target objects in complex environments. We benchmarked 5 existing referring video object segmentation (RVOS) methods and conducted a comprehensive comparison on the MeViS dataset. The results show that current RVOS methods cannot effectively address motion expression-guided video segmentation. We further analyze the challenges and propose a baseline approach for the proposed MeViS dataset. The goal of our benchmark is to provide a platform that enables the development of effective language-guided video segmentation algorithms that leverage motion expressions as a primary cue for object segmentation in complex video scenes. The proposed MeViS dataset has been released at https://henghuiding.github.io/MeViS.

研究动机与目标

• 为解决现有基准中缺乏对视频分割中运动表达的强调、过度依赖静态属性的问题。
• 探究在复杂视频场景中，将运动作为主要线索以定位和分割物体的可行性。
• 通过引入具有高时间复杂度和多对象运动表达的数据集，挑战现有的指代性视频对象分割（RVOS）方法。
• 为开发更鲁棒、具备运动感知能力的语言引导视频分割模型提供基础。
• 支持在动态视频环境中进行全局时间建模、多对象跟踪和跨模态理解的研究。

提出的方法

• 提出一种语言条件查询生成机制，利用物体嵌入检测潜在目标物体，提升鲁棒性与效率。
• 在物体嵌入上应用运动感知，以捕捉整个视频序列中的长期与短暂运动模式。
• 使用 Transformer 解码器，基于运动聚合的嵌入解码语言特征并预测物体轨迹。
• 引入语言特征与预测轨迹之间的相似性匹配模块，以识别目标物体，支持单对象与多对象表达。
• 采用两阶段训练策略：第一阶段对物体嵌入进行运动感知；第二阶段进行轨迹预测与语言信号匹配。
• 设计基线模型 LMPM（语言引导运动感知与匹配），以证明在复杂视频理解中运动感知建模的有效性。

实验结果

研究问题

• RQ1 现有 RVOS 方法是否能仅基于运动表达有效分割物体，而无需依赖静态视觉属性？
• RQ2 当运动成为主要线索而非静态外观时，最先进 RVOS 模型的性能会如何退化？
• RQ3 在复杂视频序列中，使用语言表达建模长期与短暂运动的关键挑战是什么？
• RQ4 统一模型能否在单一框架中有效处理单对象与多对象运动表达？
• RQ5 全局时间上下文在准确定位视频中运动表达方面起到什么作用？

主要发现

• 当前最先进 RVOS 方法在 MeViS 上的 J&F 得分为 27.8% 至 31.0%，远低于其在 Refer-Youtube-VOS 和 DAVIS 17-RVOS 等现有基准上 60% 以上的表现。
• 所提出的 LMPM 基线在 MeViS 上取得 37.2% 的 J&F 得分，优于所有先前方法，证明了运动感知建模的必要性。
• 失败案例显示，模型在目标物体消失与重新出现时表现不佳，表明其在全局时间推理方面存在局限。
• 复杂的运动交互，如多个运动物体的纠缠轨迹，导致跟踪失败，尤其在视频后期帧中更为明显。
• MeViS 的多对象表达能力使评估场景更加真实且更具挑战性，但当前模型难以稳健应对。
• LMPM 在处理如“移动到画面前方”和“离开屏幕”等长期运动表达中的成功，证实了该框架中运动感知与轨迹预测的价值。