[论文解读] MMPTRACK: Large-scale Densely Annotated Multi-camera Multiple People Tracking Benchmark

Xiaotian Han, Quanzeng You+6 more|arXiv (Cornell University)|Nov 30, 2021

Video Surveillance and Tracking Methods参考文献 41被引用 13

一句话总结

本文介绍了MMPTRACK，这是目前公开可用的最大规模多摄像头、多人跟踪基准数据集，具备密集的2D和3D标注。该研究提出一种基于校准深度相机与RGB相机的自动标注系统，生成高质量的3D跟踪结果，并将其投影至2D视角后进行人工精修——实现100% IDF1与99.9% MOTA的性能，同时仅需传统人工标注1/800的成本。

ABSTRACT

Multi-camera tracking systems are gaining popularity in applications that demand high-quality tracking results, such as frictionless checkout because monocular multi-object tracking (MOT) systems often fail in cluttered and crowded environments due to occlusion. Multiple highly overlapped cameras can significantly alleviate the problem by recovering partial 3D information. However, the cost of creating a high-quality multi-camera tracking dataset with diverse camera settings and backgrounds has limited the dataset scale in this domain. In this paper, we provide a large-scale densely-labeled multi-camera tracking dataset in five different environments with the help of an auto-annotation system. The system uses overlapped and calibrated depth and RGB cameras to build a high-performance 3D tracker that automatically generates the 3D tracking results. The 3D tracking results are projected to each RGB camera view using camera parameters to create 2D tracking results. Then, we manually check and correct the 3D tracking results to ensure the label quality, which is much cheaper than fully manual annotation. We have conducted extensive experiments using two real-time multi-camera trackers and a person re-identification (ReID) model with different settings. This dataset provides a more reliable benchmark of multi-camera, multi-object tracking systems in cluttered and crowded environments. Also, our results demonstrate that adapting the trackers and ReID models on this dataset significantly improves their performance. Our dataset will be publicly released upon the acceptance of this work.

研究动机与目标

• 解决复杂、拥挤环境中缺乏大规模、高质量多摄像头多人跟踪数据集的问题。
• 通过可扩展的自动标注流水线，克服多摄像头设置下人工标注成本高、难度大的问题。
• 提供一个基准，用于评估和提升真实场景中多摄像头跟踪与行人重识别（ReID）系统的表现。
• 证明在MMPTRACK上进行领域特定微调，可显著提升跟踪器与ReID模型的性能，优于在通用数据集上预训练的模型。
• 通过复杂遮挡与光照变化的环境（如零售店、办公室、大堂）中的大规模、领域内数据，提升模型在挑战性场景下的泛化能力与鲁棒性。

提出的方法

• 在五个多样化的真实环境（咖啡厅、工业区、大堂、办公室、零售店）中部署多个校准的深度传感器与RGB相机。
• 利用深度数据在3D空间的俯视投影视图上训练自顶向下的3D行人检测器与跟踪器。
• 使用3D跟踪器在所有帧中生成伪真实3D跟踪结果。
• 利用相机校准参数，将3D跟踪结果投影到每个同步的RGB相机视图中。
• 对3D跟踪输出进行人工质量控制，修正ID错乱与误报，确保标签的高精度。
• 利用生成的密集2D与3D标注，训练并评估多摄像头跟踪器与ReID模型。

实验结果

研究问题

• RQ1 基于深度与RGB相机的自动标注系统是否能在远低于人工标注成本的前提下，生成高质量、可扩展的多摄像头跟踪标注？
• RQ2 最先进多摄像头跟踪器与ReID模型在具有复杂遮挡的多样化真实环境中的表现如何？
• RQ3 与在通用数据集（如MS-COCO或OpenImages）上预训练的模型相比，在MMPTRACK上微调模型能带来多大性能提升？
• RQ4 在杂乱、拥挤的环境中，领域特定数据对ReID与跟踪性能有何影响？
• RQ5 大规模、领域内数据是否能缓解领域差距，提升多摄像头跟踪系统在真实场景中的泛化能力？

主要发现

• 自动标注系统仅需传统人工标注1/800的成本，即可实现100% IDF1与99.9% MOTA的性能。
• 在MMPTRACK上微调的ReID模型优于泛化模型以及在OpenImages上预训练的模型，尤其在零售等复杂环境中表现更优。
• 在MMPTRACK上从零开始训练的模型优于在相同数据集上使用泛化策略训练的模型，表明领域内数据比在领域不匹配数据上预训练更有效。
• ReID模型在零售环境中的性能显著下降（mAP: 28.46），凸显了杂乱背景与遮挡带来的挑战。
• 即使是最先进的实时多摄像头跟踪器，也难以满足无感结账等高要求应用的精度需求。
• 使用MMPTRACK训练集对模型进行微调可带来显著性能提升，证明大规模、领域特定数据在真实部署中的关键价值。