[论文解读] CVPR19 Tracking and Detection Challenge: How crowded can it get?

Patrick Dendorfer, Hamid Rezatofighi+7 more|arXiv (Cornell University)|Jun 10, 2019

Video Surveillance and Tracking Methods参考文献 16被引用 68

一句话总结

本论文引入 CVPR19 MOTChallenge 基准，包含 8 个高度拥挤的序列，用于在极密集场景测试多目标跟踪与检测，提供数据、标注、检测以及标准化评估协议。

ABSTRACT

Standardized benchmarks are crucial for the majority of computer vision applications. Although leaderboards and ranking tables should not be over-claimed, benchmarks often provide the most objective measure of performance and are therefore important guides for research. The benchmark for Multiple Object Tracking, MOTChallenge, was launched with the goal to establish a standardized evaluation of multiple object tracking methods. The challenge focuses on multiple people tracking, since pedestrians are well studied in the tracking community, and precise tracking and detection has high practical relevance. Since the first release, MOT15, MOT16 and MOT17 have tremendously contributed to the community by introducing a clean dataset and precise framework to benchmark multi-object trackers. In this paper, we present our CVPR19 benchmark, consisting of 8 new sequences depicting very crowded challenging scenes. The benchmark will be presented at the 4th BMTT MOT Challenge Workshop at the Computer Vision and Pattern Recognition Conference (CVPR) 2019, and will evaluate the state-of-the-art in multiple object tracking whend handling extremely crowded scenarios.

研究动机与目标

• 在极度拥挤的场景下扩展 MOTChallenge，以对跟踪器和检测器进行压力测试。
• 提供精心标注的数据、公开检测和统一的评估框架。
• 在非受约束的环境中评估跟踪方法的鲁棒性和泛化能力。

提出的方法

• 在室内/室外、日间/夜间变化的三种场景中呈现八个 CVPR19 序列。
• 按照 MOT16 协议对移动行人及相关类别进行标注，以确保一致性。
• 公开的 Faster R-CNN 检测，基于在 CVPR19 训练数据上训练，用于跟踪基线。
• 使用 CLEAR 指标和 Wu & Nevatia 的轨迹质量度量，结合汉格算法进行时序分配来定义评估。
• 在最终跟踪评估中排除非目标类别（例如静态人员、车辆等），以聚焦于行人。
• 提供数据格式规格（CSV）用于检测与地面实况，包含按帧的 ID 和边界框。

实验结果

研究问题

• RQ1 最先进的跟踪器在极度拥挤的场景下（每帧高达 246 名行人）表现如何？
• RQ2 在 CVPR19 数据上训练的检测器是否能泛化到 CVPR19 测试集中尚未见过的场景？
• RQ3 跟踪方法对遮挡、干扰项和高密度场景的鲁棒性如何？
• RQ4 使用公开检测与私有检测对跟踪器评估有何影响？

主要发现

• CVPR19 基准包含八个新序列，密度高达每帧 246 名行人。
• 训练数据和测试数据分别包含 2,390 条和 1,492 条标注轨迹，总计超过 225 万条标注。
• 公开的 Faster R-CNN 检测作为训练/测试跟踪器的基线提供（总检测数：981,031）。
• 评估使用 CLEAR 指标（MOTA、MOTP）和轨迹质量度量（MT/PT/ML、FM）来评估序列中的跟踪器性能。
• 数据集包括来自三个场景的序列，包含室内/室外和日/夜条件，以及一个已知测试场景和一个未知测试场景以评估泛化。
• 检测只聚焦于行人；静态人员和其他类别不计入最终性能，但用于遮挡分析的标注。