[论文解读] STEP: Segmenting and Tracking Every Pixel

Mark Weber, Jun Xie+11 more|arXiv (Cornell University)|Feb 23, 2021

Visual Attention and Saliency Detection参考文献 58被引用 9

一句话总结

本文提出了STEP，这是首个针对长视频序列中密集像素级标注的真实世界视频全景分割基准。它提出了分割与跟踪质量（STQ）度量标准，以公平评估语义分割和长期跟踪性能，表明统一模型在准确率上仍落后于独立流水线，原因在于数据稀缺和过拟合问题。

ABSTRACT

The task of assigning semantic classes and track identities to every pixel in a video is called video panoptic segmentation. Our work is the first that targets this task in a real-world setting requiring dense interpretation in both spatial and temporal domains. As the ground-truth for this task is difficult and expensive to obtain, existing datasets are either constructed synthetically or only sparsely annotated within short video clips. To overcome this, we introduce a new benchmark encompassing two datasets, KITTI-STEP, and MOTChallenge-STEP. The datasets contain long video sequences, providing challenging examples and a test-bed for studying long-term pixel-precise segmentation and tracking under real-world conditions. We further propose a novel evaluation metric Segmentation and Tracking Quality (STQ) that fairly balances semantic and tracking aspects of this task and is more appropriate for evaluating sequences of arbitrary length. Finally, we provide several baselines to evaluate the status of existing methods on this new challenging dataset. We have made our datasets, metric, benchmark servers, and baselines publicly available, and hope this will inspire future research.

研究动机与目标

• 为解决视频全景分割领域缺乏真实世界、长时间视频数据集且带有密集像素级标注的问题。
• 克服现有度量标准（如VPQ和PTQ）在公平评估跟踪性能方面的局限性。
• 提供一个标准化基准，包含公开数据集、评估服务器和基线模型，以实现方法间的公平比较。
• 揭示联合分割与跟踪任务中独立模型与统一模型之间的性能差距。
• 激励未来研究朝端到端、统一架构方向发展，以实现密集视频理解。

提出的方法

• 对两个新数据集KITTI-STEP和MOTChallenge-STEP进行标注，为长视频序列中每个像素分配语义类别和唯一轨迹ID。
• 设计分割与跟踪质量（STQ）度量标准，以像素级别评估分割与跟踪性能，并采用均衡加权。
• 通过逐像素、逐帧的比较计算STQ，确保所有预测结果均相对于真实值进行评分。
• 实现多种基线模型：用于全景分割和跟踪的独立模型（B1–B3），以及使用光流或联合架构的统一模型（B4、VPSNet）。
• 部署公开基准服务器，以实现对提交方法的标准化、可复现的评估。
• 通过对比STQ与VPQ、PTQ的差异，分析度量标准的偏差，表明STQ更能准确捕捉跟踪质量的变化。

实验结果

研究问题

• RQ1 现有度量标准如VPQ和PTQ为何无法真实反映视频全景分割中的跟踪性能？
• RQ2 在长时间视频序列中，联合分割与跟踪任务中独立模型与统一模型之间的性能差距有多大？
• RQ3 在密集视频理解中，基于运动的与基于外观的跟踪线索如何影响长期跟踪的一致性？
• RQ4 与模块化流水线相比，数据稀缺和过拟合在多大程度上限制了统一模型的性能？
• RQ5 像STQ这样的新度量标准能否在真实世界、长时间视频基准中公平平衡分割与跟踪质量？

主要发现

• STQ度量标准能够有效捕捉跟踪质量的变化，而VPQ和PTQ则表现出极小的波动，即使在关联质量存在显著差异时亦然。
• 独立模型（B1–B3）在STQ和AQ上均优于统一模型（B4、VPSNet），尤其在MOTChallenge-STEP上表现更优，归因于更好的泛化能力与更低的过拟合风险。
• B3结合了最先进的全景分割与光流模型，取得了最高的STQ与AQ，证明了基于运动引导的掩码传播方法的有效性。
• VPSNet表现出高精度但低召回率，原因在于分割质量差（SQ低），表明其在有限训练数据上存在过拟合现象。
• MOTChallenge-STEP比KITTI-STEP更具挑战性，原因在于行人轨迹重叠多且训练数据更少，这对统一模型的影响尤为显著。
• STQ度量标准揭示了现有度量标准系统性地低估了跟踪性能的差异，验证了建立新型、平衡评估范式的必要性。