[论文解读] DanceTrack: Multi-Object Tracking in Uniform Appearance and Diverse Motion

Peize Sun, Jinkun Cao+5 more|arXiv (Cornell University)|Nov 29, 2021

Video Surveillance and Tracking Methods被引用 23

一句话总结

本文提出DanceTrack，一个大规模多目标跟踪数据集，包含外观一致且运动模式复杂多样的人类，旨在挑战基于外观的跟踪方法。通过强调运动建模与细粒度表征（如姿态和分割），研究发现当前最先进跟踪器在DanceTrack上表现显著下降，揭示了现有仅依赖外观关联策略的局限性，并倡导发展更鲁棒、具备运动感知能力的跟踪方法。

ABSTRACT

A typical pipeline for multi-object tracking (MOT) is to use a detector for object localization, and following re-identification (re-ID) for object association. This pipeline is partially motivated by recent progress in both object detection and re-ID, and partially motivated by biases in existing tracking datasets, where most objects tend to have distinguishing appearance and re-ID models are sufficient for establishing associations. In response to such bias, we would like to re-emphasize that methods for multi-object tracking should also work when object appearance is not sufficiently discriminative. To this end, we propose a large-scale dataset for multi-human tracking, where humans have similar appearance, diverse motion and extreme articulation. As the dataset contains mostly group dancing videos, we name it "DanceTrack". We expect DanceTrack to provide a better platform to develop more MOT algorithms that rely less on visual discrimination and depend more on motion analysis. We benchmark several state-of-the-art trackers on our dataset and observe a significant performance drop on DanceTrack when compared against existing benchmarks. The dataset, project code and competition server are released at: \url{https://github.com/DanceTrack}.

研究动机与目标

• 解决现有多目标跟踪数据集对独特外观和规则运动模式的偏差。
• 揭示当前最先进跟踪器在低视觉区分度真实场景中过度依赖外观匹配时的失败表现。
• 构建一个强调运动复杂性与遮挡的新基准，以促进更鲁棒、具备运动感知能力的跟踪算法发展。
• 提供大规模、多样化的数据集，用于评估和提升在具有挑战性的现实条件下的多目标跟踪性能。
• 分析除边界框外的附加线索（如姿态、分割和深度）在困难场景中提升跟踪性能的有效性。

提出的方法

• 提出一个新的大规模多目标跟踪数据集DanceTrack，由具有高度相似人类外观和复杂非线性运动模式的群体舞蹈视频组成。
• 收集并标注超过100,000帧图像，包含边界框和身份标签，特别强调遮挡和频繁的位置互换。
• 使用MOTA、HOTA和IDF1等标准指标，在DanceTrack上对现有最先进跟踪器进行基准测试，量化性能下降程度。
• 引入与辅助数据集（如COCO用于掩码和姿态，KITTI用于深度）的联合训练，以增强模型泛化能力并支持多模态输出。
• 开展消融研究，评估分割掩码、人体姿态估计和深度信息对跟踪性能的影响。
• 采用统一的跟踪流程，检测使用CenterNet，关联使用BYTE，以确保实验间的公平比较。

实验结果

研究问题

• RQ1 在外观高度一致且运动模式复杂的基准上，最先进多目标跟踪方法的表现如何？
• RQ2 与标准边界框相比，细粒度表征（如分割掩码和人体姿态）在提升跟踪鲁棒性方面的相对贡献是什么？
• RQ3 从不同领域（KITTI）引入的深度信息是否能提升DanceTrack上的跟踪性能？其局限性是否由域偏移导致？
• RQ4 当外观线索不可靠时，运动建模与时间动态如何影响跟踪性能？
• RQ5 与辅助数据集联合训练是否能提升模型在DanceTrack上的表现，特别是当依赖非外观线索时？

主要发现

• 最先进跟踪器在DanceTrack上性能显著下降，MOTA从MOT17上的90%以上降至78.8%，表明在低区分度场景下基于外观的关联策略失效。
• 添加实例分割掩码使MOTA提升1.8个百分点（从78.8%升至80.6%），IDF1提升1.1个百分点，证明细粒度空间表征具有显著优势。
• 姿态估计带来的性能增益大于分割，MOTA提升4.1个百分点（达82.9%），IDF1提升3.7个百分点，因其在遮挡下更具鲁棒性。
• 在基线基础上加入KITTI的深度信息使MOTA仅提升0.1个百分点，整体性能仍较低，主要受限于KITTI（车辆）与DanceTrack（人类）之间的域偏移。
• 与COCO联合训练掩码和姿态显著提升性能，当两者同时使用时，MOTA达83.1%，IDF1达43.9%，表明多模态监督具有重要价值。
• 消融研究证实，运动建模与时间动态至关重要，仅使用外观线索时性能急剧下降，凸显了设计具备运动感知能力的跟踪系统的重要性。