[论文解读] Do Different Tracking Tasks Require Different Appearance Models?

Zhongdao Wang, Hengshuang Zhao+4 more|arXiv (Cornell University)|Jul 5, 2021

Video Surveillance and Tracking Methods参考文献 110被引用 32

一句话总结

UniTrack 提出一个单一、任务无关的外观模型，结合针对任务的头部，以处理五种追踪任务（SOT、VOS、MOT、MOTS、PoseTrack），使用传播与关联原语，能够在非专门化训练下实现具有竞争力的结果。

ABSTRACT

Tracking objects of interest in a video is one of the most popular and widely applicable problems in computer vision. However, with the years, a Cambrian explosion of use cases and benchmarks has fragmented the problem in a multitude of different experimental setups. As a consequence, the literature has fragmented too, and now novel approaches proposed by the community are usually specialised to fit only one specific setup. To understand to what extent this specialisation is necessary, in this work we present UniTrack, a solution to address five different tasks within the same framework. UniTrack consists of a single and task-agnostic appearance model, which can be learned in a supervised or self-supervised fashion, and multiple ``heads'' that address individual tasks and do not require training. We show how most tracking tasks can be solved within this framework, and that the same appearance model can be successfully used to obtain results that are competitive against specialised methods for most of the tasks considered. The framework also allows us to analyse appearance models obtained with the most recent self-supervised methods, thus extending their evaluation and comparison to a larger variety of important problems.

研究动机与目标

• 鼓励为多任务追踪建立一个统一、任务无关的外观表示。
• 展示共享表示在 SOT、VOS、MOT、MOTS 与 PoseTrack 上也能达到具有竞争力的结果。
• 引入可与共同外观模型配合使用的传播与关联原语。
• 提出基于重构的相似性度量，用于跨格式（框、掩码、姿态）的鲁棒关联。
• 评估自监督表征作为视频追踪的通用特征。

提出的方法

• 使用一个可训练的、通用的外观模型 φ，从帧中提取高分辨率特征图。
• 通过传播（SOT、VOS）或关联（MOT、MOTS、PoseTrack）原语来表达追踪任务。
• 使用适当机制传播掩码、框或姿态（基于相似性传播掩码；框使用互相关/DCF；姿态使用高斯置信地图）。
• 使用新颖的重构相似性度量（RSM），在不同观测格式下计算对称亲和性以进行关联。
• 附加在原语上运行的任务特定头部，在不进行任务特定外观模型训练的前提下解决五个追踪任务。
• 在 UniTrack 框架内评估广泛的自监督表征（图像级、像素级、视频为基础）。

实验结果

研究问题

• RQ1 单一、共享的外观模型是否能够在五个不同的追踪任务中实现具有竞争力的表现？
• RQ2 传播与关联原语如何与统一表示互动以解决 SOT、VOS、MOT、MOTS 与 PoseTrack？
• RQ3 基于重构的相似性度量是否提升跨不同观测格式的多目标关联？
• RQ4 在统一追踪框架中使用时，自监督与监督表征的影响是什么？
• RQ5 在 UniTrack 中，基于视频的自监督表征相对于图像的表征在视频追踪中有多大程度上的优势？

主要发现

• 在适当的任务头配合下，单一外观模型可在 SOT、VOS、MOT、MOTS 与 PoseTrack 上实现具有竞争力的性能。
• 基于重构的相似性度量（RSM）能够保留细粒度特征，并改善框对框、掩码与姿态之间的关联。
• 自监督表征，尤其是像 VFS 这样的视频基础表征，在大多数任务中通常排名第一，尽管许多设置中原生的 ImageNet 监督仍然表现强劲。
• ImageNet 监督的特征在多任务中意外地有效，提供与专业方法竞争的基线。
• 面向视频训练的 SSL 模型（如 VFS）有利于运动丰富的视频域任务，缩小到下游追踪任务的领域差距。