[论文解读] ByteTrackV2: 2D and 3D Multi-Object Tracking by Associating Every Detection Box

Yifu Zhang, Xinggang Wang+7 more|arXiv (Cornell University)|Mar 27, 2023

Video Surveillance and Tracking Methods被引用 5

一句话总结

ByteTrackV2 提出了一种统一的、非参数化的 2D 和 3D 多目标跟踪框架，通过基于运动相似性的分层数据关联策略，将每个检测框——无论得分高低——进行关联。该方法在 nuScenes 数据集上达到最先进性能，在 LiDAR 模态下取得 70.1% 的 AMOTA，在相机模态下取得 56.4% 的 AMOTA，且在不同检测器之间具有强大泛化能力，除检测网络外无额外可学习参数。

ABSTRACT

Multi-object tracking (MOT) aims at estimating bounding boxes and identities of objects across video frames. Detection boxes serve as the basis of both 2D and 3D MOT. The inevitable changing of detection scores leads to object missing after tracking. We propose a hierarchical data association strategy to mine the true objects in low-score detection boxes, which alleviates the problems of object missing and fragmented trajectories. The simple and generic data association strategy shows effectiveness under both 2D and 3D settings. In 3D scenarios, it is much easier for the tracker to predict object velocities in the world coordinate. We propose a complementary motion prediction strategy that incorporates the detected velocities with a Kalman filter to address the problem of abrupt motion and short-term disappearing. ByteTrackV2 leads the nuScenes 3D MOT leaderboard in both camera (56.4% AMOTA) and LiDAR (70.1% AMOTA) modalities. Furthermore, it is nonparametric and can be integrated with various detectors, making it appealing in real applications. The source code is released at https://github.com/ifzhang/ByteTrack-V2.

研究动机与目标

• 解决因过滤低分检测框而导致的目标丢失和轨迹碎片化问题。
• 提升在具有突发运动和短时遮挡的 3D 场景中的跟踪鲁棒性。
• 开发一种兼容多种 2D 和 3D 检测器、无需额外可学习参数的统一非参数化跟踪框架。
• 通过融合检测到的速度与基于卡尔曼滤波的平滑输出，提升 3D 中的运动预测能力，增强轨迹一致性。

提出的方法

• 提出一种分层数据关联策略：首先基于运动相似性（预测框与检测框之间的 IoU）将高分检测框与轨迹段匹配，随后使用相同准则恢复低分检测框。
• 在 2D 和 3D 空间中均使用卡尔曼滤波进行轨迹段的运动预测，实现跨帧的一致状态估计。
• 提出一种互补的 3D 运动预测策略，将检测到的物体速度与卡尔曼滤波输出融合，以增强对突发运动和遮挡的鲁棒性。
• 采用 2D 或 3D IoU 作为预测轨迹段位置与检测框之间的相似性度量，用于数据关联。
• 在 2D 和 3D MOT 中应用相同的关联机制，实现仅需最小架构改动的统一框架。
• 可无缝集成任意检测器（如 CenterPoint、TransFusion-L），无需微调或引入额外参数。

实验结果

研究问题

• RQ1 一种结合检测分数与运动相似性的数据关联策略，能否有效从低分检测框中恢复真实目标？
• RQ2 将检测到的速度与卡尔曼滤波预测结果结合，能否提升 3D 多目标跟踪中的运动建模能力？
• RQ3 一种非参数化、检测器无关的跟踪框架，能否在 2D 和 3D MOT 基准上均实现最先进性能？
• RQ4 分层关联在遮挡和突发运动等复杂场景中，能在多大程度上减少轨迹碎片化与目标丢失？

主要发现

• ByteTrackV2 在 nuScenes LiDAR 3D MOT 基准上达到 70.1% 的 AMOTA，创下新最先进纪录。
• 在相机模态下，其 AMOTA 达到 56.4%，同样位居排行榜首位。
• 在使用相同 CenterPoint 检测结果的前提下，ByteTrackV2 比 Immortal 在 AMOTA 上高出 2.2%，MOTA 高出 2.3%，IDS 减少 52%。
• 当与 TransFusion-L 检测结果结合时，其在验证集上达到 75.0% 的 AMOTA，超越所有先前方法。
• 在测试集上，其 AMOTA 比 TransFusion-L 提高 1.5%，IDS 降低 45%，表明跟踪算法的性能增益与检测质量无关。
• 定性结果表明，在涉及遮挡和突发运动的复杂场景中，未发生身份切换，证实了其在真实场景中的鲁棒性。