[论文解读] BoT-SORT: Robust Associations Multi-Pedestrian Tracking

Nir Aharon, Roy Orfaig+1 more|arXiv (Cornell University)|Jun 29, 2022

Video Surveillance and Tracking Methods被引用 308

一句话总结

BoT-SORT 引入相机运动补偿和经优化的卡尔曼滤波状态，以及 IoU-ReID 融合，在 MOT17/20 上实现了最先进的多行人跟踪，超越以往跟踪器在 MOTA、IDF1 与 HOTA 的表现。

ABSTRACT

The goal of multi-object tracking (MOT) is detecting and tracking all the objects in a scene, while keeping a unique identifier for each object. In this paper, we present a new robust state-of-the-art tracker, which can combine the advantages of motion and appearance information, along with camera-motion compensation, and a more accurate Kalman filter state vector. Our new trackers BoT-SORT, and BoT-SORT-ReID rank first in the datasets of MOTChallenge [29, 11] on both MOT17 and MOT20 test sets, in terms of all the main MOT metrics: MOTA, IDF1, and HOTA. For MOT17: 80.5 MOTA, 80.2 IDF1, and 65.0 HOTA are achieved. The source code and the pre-trained models are available at https://github.com/NirAharon/BOT-SORT

研究动机与目标

• 通过整合运动、外观和相机运动补偿来处理动态场景，从而改进多目标跟踪。
• 开发一个更鲁棒的卡尔曼滤波状态向量，以实现更好的边界框定位。
• 将基于 IoU 的运动线索与 Re-ID 外观特征融合，以实现鲁棒的数据关联。

提出的方法

• 使用一个修订后的状态向量的卡尔曼滤波，捕获中心坐标、宽度、高度及其速度分量（x_c, y_c, w, h, ẋ_c, ẏ_c, ẇ, ḣ）。
• 通过仿射变换图像配准实现相机运动补偿（CMC），以估计背景运动并调整 KF 预测。
• 引入一个新的 IoU-ReID 融合代价，先应用邻近性遮罩，再取 IoU 距离与精化后余弦距离的最小值，由阈值 θ_iou 和 θ_emb 控制。
• 对于跟踪片段外观描述符 f_i^k 使用 EMA 更新为 e_i^k，以通过高置信度检测滤波器稳定 Re-ID 特征。
• 在用于第一步分配的代价矩阵 C 中，将运动（IoU）与外观（cosine）线索相结合。
• 提供一个在线 TB（BoT-SORT）和一个 ReID 扩展版本（BoT-SORT-ReID），将其简单但有效地集成到 ByteTrack 框架中。

实验结果

研究问题

• RQ1 如何有效地补偿相机运动以提高 MOT 中的片段与检测之间的关联？
• RQ2 改进的卡尔曼滤波状态向量是否提升边界框定位和总体跟踪指标？
• RQ3 是否可以将基于 IoU 的运动线索与 Re-ID 特征有效融合，以在不牺牲速度的情况下提高数据关联？
• RQ4 在拥挤场景中，通过 EMA 报告的特征进行外观整合对身份保持有何影响？

主要发现

Tracker	MOTA↑	IDF1↑	HOTA↑	FP↓	FN↓	IDs↓	FPS↑
BoT-SORT (ours)	80.6	79.5	64.6	22524	85398	1257	6.6
BoT-SORT-ReID (ours)	80.5	80.2	65.0	22521	86037	1212	4.5

• BoT-SORT 与 BoT-SORT-ReID 在 MOT17 和 MOT20 的测试集上实现最高分，在榜单上分别居于 MOTA、IDF1 与 HOTA 的第一位。
• 在 MOT17 测试集上，BoT-SORT 的 MOTA 80.6、IDF1 79.5、HOTA 64.6，IDs 为 1257，FPS 为 6.6。
• BoT-SORT-ReID 的 MOTA 80.5、IDF1 80.2、HOTA 65.0，IDs 为 1212，FPS 为 4.5。
• 消融实验显示，加入 KF、CMC 和 ReID 组件后，MOTA、IDF1、HOTA 均呈现持续提升，完整的 BoT-SORT 设置表现最佳。
• 带遮罩的 IoU-ReID 融合（邻近阈值）在 MOT17 验证集上在 MOTA、IDF1、HOTA 上优于单独的 IoU 或 Cosine 策略。
• 本文还引入了 cMOTA，这是一个用于跟踪失败分析的时序化 MOTA 指标。