[论文解读] MOSE: A New Dataset for Video Object Segmentation in Complex Scenes

Henghui Ding, Chang Liu+4 more|arXiv (Cornell University)|Feb 3, 2023

Visual Attention and Saliency Detection被引用 6

一句话总结

本文提出了MOSE，一个大规模视频实例分割数据集，包含2,149段高分辨率视频，涵盖36类共5,200个物体，其场景复杂，存在严重遮挡、物体消失-重现、小尺寸或不显眼物体以及密集环境等挑战。尽管当前最先进（SOTA）方法在DAVIS等标准基准上J&F得分超过90%，但在半监督设置下，其在MOSE上的J&F得分仅降至59.4%，暴露出在真实场景中鲁棒性的关键局限。

ABSTRACT

Video object segmentation (VOS) aims at segmenting a particular object throughout the entire video clip sequence. The state-of-the-art VOS methods have achieved excellent performance (e.g., 90+% J&F) on existing datasets. However, since the target objects in these existing datasets are usually relatively salient, dominant, and isolated, VOS under complex scenes has rarely been studied. To revisit VOS and make it more applicable in the real world, we collect a new VOS dataset called coMplex video Object SEgmentation (MOSE) to study the tracking and segmenting objects in complex environments. MOSE contains 2,149 video clips and 5,200 objects from 36 categories, with 431,725 high-quality object segmentation masks. The most notable feature of MOSE dataset is complex scenes with crowded and occluded objects. The target objects in the videos are commonly occluded by others and disappear in some frames. To analyze the proposed MOSE dataset, we benchmark 18 existing VOS methods under 4 different settings on the proposed MOSE dataset and conduct comprehensive comparisons. The experiments show that current VOS algorithms cannot well perceive objects in complex scenes. For example, under the semi-supervised VOS setting, the highest J&F by existing state-of-the-art VOS methods is only 59.4% on MOSE, much lower than their ~90% J&F performance on DAVIS. The results reveal that although excellent performance has been achieved on existing benchmarks, there are unresolved challenges under complex scenes and more efforts are desired to explore these challenges in the future. The proposed MOSE dataset has been released at https://henghuiding.github.io/MOSE.

研究动机与目标

• 为解决现有视频实例分割（VOS）基准在真实世界适用性方面的不足，这些基准大多集中于显著、孤立且无遮挡的物体。
• 研究当前VOS方法在包含严重遮挡、物体消失-重现以及小尺寸/不显眼目标的复杂真实场景下的表现。
• 通过提供一个大规模、多样化且具有挑战性的基准数据集，推动更鲁棒和泛化能力强的VOS算法发展。
• 识别长期视频分割、人群中的物体跟踪以及在复杂场景中处理小尺寸或不显眼物体的关键挑战。

提出的方法

• MOSE数据集从多样化的现实世界视频源收集，包括体育赛事、城市场景和自然环境，以确保物体外观、运动和遮挡模式的高度多样性。
• 每段视频剪辑均包含5,200个物体的高质量、像素级精确分割掩码，覆盖36个类别，总计431,725个掩码。
• 数据集包含较长的视频序列（平均长度超过现有基准），以支持长期跟踪与分割评估。
• 数据集强调复杂的视觉挑战：频繁遮挡、物体消失与重新识别、小尺度目标，以及外观相似的密集人群。
• 通过在四种设置下微调并评估18种现有SOTA VOS方法，开展了全面的基准测试：半监督（掩码与边界框）、无监督（零样本）以及交互式VOS。
• 评估指标包括J&F（交并比与F值）以定量评估复杂场景条件下性能的下降程度。

实验结果

研究问题

• RQ1 当在具有严重遮挡和物体消失-重现的数据集上测试时，当前SOTA VOS方法的表现如何，相较于标准基准有何差异？
• RQ2 当前VOS模型在密集且复杂的场景中，对小尺寸、不显眼或非显著物体的跟踪失败程度有多大？
• RQ3 当面对长期视频序列和持续遮挡时，现有VOS方法的关键失效模式是什么？
• RQ4 现有VOS方法能否泛化到真实世界场景，其中物体并非孤立存在且频繁被遮挡？

主要发现

• 最先进VOS方法（如XMem和DeAOT）在DAVIS上J&F得分超过90%，但在MOSE的半监督设置下，J&F得分分别降至57.6%和59.4%，表明在复杂场景中存在显著性能差距。
• 性能下降主要源于物体消失后重新识别困难以及处理严重遮挡的挑战，尤其是物体重新出现时外观发生变化的情况。
• 现有方法在密集人群中的物体跟踪方面表现吃力，当外观相似的物体成组移动时，易导致跟踪与分割混淆。
• 小尺寸和不显眼物体常被丢失或误分类，暴露出当前模型对低可见度目标敏感性不足。
• MOSE中的长视频序列暴露出当前VOS模型在计算与内存方面的局限，这些模型往往无法在长时间内保持准确的物体特征。
• 结果表明，当前VOS算法对真实世界复杂性缺乏鲁棒性，凸显了需要开发更注重上下文推理与长期记忆的新架构与训练范式。