[论文解读] DETRAC: A New Benchmark and Protocol for Multi-Object Tracking

Longyin Wen, Dawei Du+7 more|arXiv (Cornell University)|Nov 13, 2015

Video Surveillance and Tracking Methods参考文献 32被引用 37

一句话总结

本文提出了 DETRAC 基准数据集，这是一个大规模的真实交通视频数据集，包含 100 段真实世界的交通视频，共 120 万个标注的边界框，用于研究目标检测精度对多目标跟踪（MOT）性能的影响。本文提出了一种新的评估协议，联合分析检测与关联两个组件，揭示了两者之间复杂的相互依赖关系，并引入了全面的指标用于端到端 MOT 评估。

ABSTRACT

In recent years, most effective multi-object tracking (MOT) methods are based on the tracking-by-detection framework. Existing performance evaluations of MOT methods usually separate the target association step from the object detection step by using the same object detection results for comparisons. In this work, we perform a comprehensive quantitative study on the effect of object detection accuracy to the overall MOT performance. This is based on a new large-scale DETection and tRACking (DETRAC) benchmark dataset. The DETRAC benchmark dataset consists of 100 challenging video sequences captured from real-world traffic scenes (over 140 thousand frames and 1.2 million labeled bounding boxes of objects) for both object detection and MOT. We evaluate complete MOT systems constructed from combinations of state-of-the-art target association methods and object detection schemes. Our analysis shows the complex effects of object detection accuracy on MOT performance. Based on these observations, we propose new evaluation tools and metrics for MOT systems that consider both object detection and target association for comprehensive analysis.

研究动机与目标

• 为解决多目标跟踪（MOT）系统在综合评估方面的不足，通过分析目标检测与目标关联之间的相互作用关系。
• 开发一个新的大规模基准数据集 DETRAC，包含 100 个视频序列，超过 14 万个帧，以及 120 万个用于检测与跟踪的标注边界框。
• 使用最先进的检测与关联方法评估完整的 MOT 系统，以量化检测精度对整体跟踪性能的影响。
• 提出新的评估工具与指标，将检测与关联两个阶段联合考虑，超越对单一组件的孤立评估。
• 为未来 MOT 研究提供标准化协议，更准确地反映真实世界系统性能。

提出的方法

• 作者收集并标注了 100 段真实世界的交通视频序列，构建了 DETRAC 基准数据集，对车辆及其他物体进行了详细的边界框标注。
• 通过将最先进的目标检测模型与多种目标关联算法相结合，构建完整的 MOT 系统，以评估端到端性能。
• 提出一种新的评估协议，联合评估整个跟踪流程，而非将检测与关联解耦进行分析。
• 该协议包含新的指标，用于评估检测质量对整体跟踪性能的贡献，实现对性能的精细化分解。
• 在多种检测与关联组合上进行定量分析，研究 MOT 性能对检测精度的敏感性。
• 该框架支持系统性的消融研究，以隔离检测错误对跟踪精度与鲁棒性的影响。

实验结果

研究问题

• RQ1 目标检测的精度在多大程度上影响多目标跟踪系统的整体性能？
• RQ2 在真实场景中，检测错误在多大程度上传播并降低跟踪性能？
• RQ3 当前评估协议在 MOT 基准测试中将检测与关联解耦，存在哪些局限性？
• RQ4 如何设计统一的评估框架，以联合评估 MOT 中的检测与关联组件？
• RQ5 需要哪些新的指标与工具，才能实现对完整 MOT 系统的全面且公平的基准测试？

主要发现

• 目标检测精度显著影响整体 MOT 性能，检测错误是导致跟踪失败的主要原因。
• 研究揭示了检测质量与跟踪精度之间复杂的非线性关系，表明检测性能的提升并不总能带来跟踪性能的成比例增益。
• 现有将检测与关联解耦的评估协议无法捕捉真实的系统级性能，可能导致比较结果产生误导。
• 所提出的联合评估协议通过同时分析检测与关联，提供了对 MOT 系统行为更准确、更细致的理解。
• DETRAC 基准数据集支持大规模、真实世界的 MOT 系统评估，为未来研究提供了标准化平台。
• 新指标与工具使研究人员能够更有效地诊断系统性能，明确识别出失败是源于检测组件还是关联组件。