[论文解读] ByteTrack: Multi-Object Tracking by Associating Every Detection Box

Yifu Zhang, Peize Sun+7 more|arXiv (Cornell University)|Oct 13, 2021

Video Surveillance and Tracking Methods参考文献 85被引用 105

一句话总结

ByteTrack 引入了一种简单的关联策略，几乎使用所有检测框，而不仅仅是高分框，以提升 MOT，在多个基准测试上实现了最先进的结果。

ABSTRACT

Multi-object tracking (MOT) aims at estimating bounding boxes and identities of objects in videos. Most methods obtain identities by associating detection boxes whose scores are higher than a threshold. The objects with low detection scores, e.g. occluded objects, are simply thrown away, which brings non-negligible true object missing and fragmented trajectories. To solve this problem, we present a simple, effective and generic association method, tracking by associating almost every detection box instead of only the high score ones. For the low score detection boxes, we utilize their similarities with tracklets to recover true objects and filter out the background detections. When applied to 9 different state-of-the-art trackers, our method achieves consistent improvement on IDF1 score ranging from 1 to 10 points. To put forwards the state-of-the-art performance of MOT, we design a simple and strong tracker, named ByteTrack. For the first time, we achieve 80.3 MOTA, 77.3 IDF1 and 63.1 HOTA on the test set of MOT17 with 30 FPS running speed on a single V100 GPU. ByteTrack also achieves state-of-the-art performance on MOT20, HiEve and BDD100K tracking benchmarks. The source code, pre-trained models with deploy versions and tutorials of applying to other trackers are released at https://github.com/ifzhang/ByteTrack.

研究动机与目标

• 动机在于缓解 MOT 系统中由于舍弃低分框而造成的缺失检测和轨迹碎片化。
• 提出一种通用的数据关联方法，通过轨迹片段相似性同时利用高分和低分检测。
• 通过将 BYTE 与高性能检测器配对，设计一个强大且简单的跟踪器（ByteTrack） 。
• 展示 ByteTrack 在各种跟踪器和标准 MOT 基准测试中的有效性。

提出的方法

• 使用阈值将检测分为高分组和低分组，并应用分两阶段的数据关联。
• 首先利用运动/外观相似性将高分检测与现有轨道片段关联（卡尔曼滤波 + IoU 或 Re-ID 特征）。
• 第二步使用 IoU 将未匹配的轨道片段与低分检测关联，以恢复遮挡对象并滤除背景。
• 删除未匹配的低分检测，并用固定帧距（例如 30 帧）来管理丢失的轨迹。
• 可选地将 BYTE 与其他追踪器（例如 FairMOT）集成，以在不改变核心架构的情况下提升性能。

实验结果

研究问题

• RQ1 通过两阶段关联纳入低分检测是否能够减少 MOT 中的漏检对象和 ID 切换？
• RQ2 基于 BYTE 的两阶段关联是否在各种跟踪器和数据集上提升 MOTA/IDF1/HOTA？
• RQ3 BYTE 方法对不同检测分数阈值和具有挑战性的场景（遮挡、运动模糊、拥挤场景）的鲁棒性如何？
• RQ4 在 MOT17、MOT20、HiEve 和 BDD100K 的私有检测协议下，ByteTrack 的性能相对于最先进方法如何？

主要发现

• 将 BYTE 应用于九个跟踪器，在各基准上持续提升 MOTA、IDF1 和 IDs。
• ByteTrack 在 MOT17 测试集上以 30 FPS、单个 V100 GPU 实现 80.3 MOTA、77.3 IDF1 和 63.1 HOTA。
• 在 MOT17 上，ByteTrack 以 30 FPS 位居第一，领先第二名显著。
• 在 MOT20 上，ByteTrack 实现 77.8 MOTA、75.2 IDF1、61.3 HOTA，在拥挤场景中压制竞争对手。
• 表格报告表明，即使在第二次关联仅使用 IoU 进行相似性时，ByteTrack 也能取得性能提升。
• ByteTrack 展示出在与各种跟踪器整合时的强泛化能力，并且对检测分数阈值保持鲁棒。