[论文解读] MOTChallenge 2015: Towards a Benchmark for Multi-Target Tracking

Laura Leal-Taixé, Anton Milan+3 more|arXiv (Cornell University)|Apr 8, 2015

Video Surveillance and Tracking Methods被引用 486

一句话总结

MOTChallenge 2015 引入了一个统一的多目标跟踪基准，整合了多样的视频序列、标准化的评估指标以及集中化的提交与排名系统。它通过使用共享数据集、检测输入和评估脚本，解决了以往基准中不一致的问题，实现了方法间公平且可复现的比较，以 MOTA 为主要性能指标，实时速度作为关键效率指标。

ABSTRACT

In the recent past, the computer vision community has developed centralized benchmarks for the performance evaluation of a variety of tasks, including generic object and pedestrian detection, 3D reconstruction, optical flow, single-object short-term tracking, and stereo estimation. Despite potential pitfalls of such benchmarks, they have proved to be extremely helpful to advance the state of the art in the respective area. Interestingly, there has been rather limited work on the standardization of quantitative benchmarks for multiple target tracking. One of the few exceptions is the well-known PETS dataset, targeted primarily at surveillance applications. Despite being widely used, it is often applied inconsistently, for example involving using different subsets of the available data, different ways of training the models, or differing evaluation scripts. This paper describes our work toward a novel multiple object tracking benchmark aimed to address such issues. We discuss the challenges of creating such a framework, collecting existing and new data, gathering state-of-the-art methods to be tested on the datasets, and finally creating a unified evaluation system. With MOTChallenge we aim to pave the way toward a unified evaluation framework for a more meaningful quantification of multi-target tracking.

研究动机与目标

• 为解决多目标跟踪缺乏标准化、大规模基准的问题，以阻碍公平且一致的性能评估。
• 统一先前工作中普遍存在的数据使用、检测输入、模型训练和评估脚本不一致的问题，例如 PETS 数据集中的情况。
• 创建一个集中化、可扩展的平台，用于提交新的跟踪方法、数据集、标注和评估指标，以支持持续进展。
• 通过包含具有不同视角、光照条件和人群密度的多样化序列，减少数据集偏差，以测试泛化能力和鲁棒性。
• 通过年度挑战赛和研讨会，持续追踪最先进进展，类似于 PASCAL VOC 和 ImageNet 等成功范例。

提出的方法

• 该基准整合了 22 个视频序列——11 个用于训练，11 个用于测试——涵盖 996 秒的视频，共 11,286 帧，其中 4 个已校准用于 3D 跟踪。
• 它提供预计算的物体检测结果、标准化的真实标注，并配备集中式评估服务器，以确保所有提交结果的一致性。
• 评估框架以 MOTA（多目标跟踪准确率）为主要指标，计算公式为 1 - (FP + FN + ID switch) / GT，取值范围为 -∞ 至 100%。
• 附加指标包括 MOTP（多目标跟踪精确率）、MT/PT/ML（大部分跟踪/部分跟踪/大部分丢失）比率、碎片化数量（FM）以及以 FPS 表示的运行时间。
• 系统支持全年提交和年度挑战赛提交，结果在 10 项性能指标上进行排名，并取平均值用于整体比较。
• 该平台具有可扩展性，允许每年贡献并更新新的数据、标注和评估方法。

实验结果

研究问题

• RQ1 如何设计一个统一的、标准化的多目标跟踪基准，以克服数据使用、检测输入和评估脚本中的不一致问题？
• RQ2 最先进跟踪方法在具有不同摄像机角度、光照条件和人群密度的多样化真实序列中，其泛化能力如何？
• RQ3 具有统一指标和公开结果的集中式评估系统，能否提升多目标跟踪研究中的可复现性和公平性？
• RQ4 不同跟踪方法在准确性（MOTA）、定位精确率（MOTP）和计算效率（FPS）之间如何权衡？
• RQ5 年度挑战赛和众包贡献在长期维持和推进基准发展方面发挥什么作用？

主要发现

• 该基准通过标准化数据集、检测输入和评估脚本，实现了公平且一致的评估框架，减少了先前工作中存在的不一致性。
• 测试方法的 MOTA 得分在 12% 至 24% 之间，最高性能跟踪器达到 24% MOTA，表明仍有显著的提升空间。
• MOTP 值变化较小（69.6% 至 71.6%），表明定位性能主要受检测质量与标注一致性的影响。
• 最快的方法 DP_NMS 实现了实时性能（25+ FPS），但 MOTA 最低（12%），凸显了速度与准确率之间的权衡。
• 所有指标的平均排名与 MOTA 排名高度相关，表明 MOTA 是整体跟踪器性能的有力代理指标。
• 该平台成功支持了 WACV 2015 首届年度研讨会，证明其作为持续评估基础设施的可行性。