[论文解读] MCTrack: A Unified 3D Multi-Object Tracking Framework for Autonomous Driving

Xiyang Wang, Shouzheng Qi+9 more|arXiv (Cornell University)|Sep 23, 2024

Autonomous Vehicle Technology and Safety被引用 4

一句话总结

MCTrack 提出了一种统一的3D多目标跟踪框架，通过标准化检测格式（BaseVersion）并引入两阶段匹配策略——先在鸟瞰图（BEV）上匹配，再在图像平面上（RV）匹配以增强深度鲁棒性——在 KITTI、nuScenes 和 Waymo 数据集上实现了最先进（SOTA）的性能表现，同时引入了一套新型的运动感知评估指标，用于衡量速度、加速度和角速度。

ABSTRACT

This paper introduces MCTrack, a new 3D multi-object tracking method that achieves state-of-the-art (SOTA) performance across KITTI, nuScenes, and Waymo datasets. Addressing the gap in existing tracking paradigms, which often perform well on specific datasets but lack generalizability, MCTrack offers a unified solution. Additionally, we have standardized the format of perceptual results across various datasets, termed BaseVersion, facilitating researchers in the field of multi-object tracking (MOT) to concentrate on the core algorithmic development without the undue burden of data preprocessing. Finally, recognizing the limitations of current evaluation metrics, we propose a novel set that assesses motion information output, such as velocity and acceleration, crucial for downstream tasks. The source codes of the proposed method are available at this link: https://github.com/megvii-research/MCTrack}{https://github.com/megvii-research/MCTrack

研究动机与目标

• 解决现有 3D 多目标跟踪（MOT）方法仅在特定数据集上达到 SOTA 性能而缺乏泛化能力的问题。
• 将 KITTI、nuScenes 和 Waymo 的感知检测输出统一为一种标准化的 BaseVersion 格式，以减少预处理负担。
• 通过引入两阶段匹配策略，提升真实场景中对基于摄像头感知的深度误差的鲁棒性，从而增强跟踪的鲁棒性。
• 引入一套聚焦于运动属性（速度、加速度、角速度）的新评估指标，以更准确地衡量跟踪输出在下游规划与预测任务中的实用性。
• 证明 Ro_GDIoU 作为一种通用损失函数，可在多种数据集和模型上提升跟踪精度。

提出的方法

• 提出基于检测跟踪（TBD）的统一 3D MOT 框架 MCTrack，采用两阶段匹配流程：首先在鸟瞰图（BEV）平面上进行匹配，对在 BEV 匹配失败的轨迹再在图像平面（RV）上进行二次匹配。
• 提出 BaseVersion 格式，用于统一 KITTI、nuScenes 和 Waymo 的检测输出（边界框、置信度、类别标签），以支持一致的算法开发。
• 仅对前向视场内的障碍物执行图像平面（RV）上的二次匹配，以提升效率并增强对深度估计误差的鲁棒性。
• 设计一种新型损失函数 Ro_GDIoU，通过引入旋转和尺度不变性，提升 IoU 估计精度，从而增强关联匹配的准确性。
• 提出一套新的评估指标套件，用于衡量运动输出（速度、加速度、角速度）的准确性，而不仅限于轨迹关联性能。
• 采用多数据集评估协议，使用 SOTA 检测器（如 CasA、VirConv）验证框架在不同传感器模态和场景下的泛化能力与鲁棒性。

实验结果

研究问题

• RQ1 一个单一的 3D MOT 框架是否能在不进行数据集特异性调优的前提下，在多个异构自动驾驶数据集（KITTI、nuScenes、Waymo）上均实现 SOTA 性能？
• RQ2 与仅使用 BEV 匹配相比，两阶段匹配策略（先 BEV 后 RV）在减少因深度误差导致的 ID 切换和轨迹碎片化方面效果如何？
• RQ3 与标准 IoU 变体（如 GIoU、DIoU）相比，所提出的 Ro_GDIoU 损失在不同数据集和检测器上对跟踪精度的提升程度如何？
• RQ4 与传统指标（如 HOTA、MOTA）相比，运动感知评估指标（速度、加速度）在反映跟踪输出对规划系统实际可用性方面的表现如何？
• RQ5 BaseVersion 格式是否能显著减少研究人员的预处理负担，同时保持与现有 SOTA 检测流水线的兼容性？

主要发现

• MCTrack 在全部三个基准数据集上均达到 SOTA 性能：在 KITTI 和 nuScenes 上排名第一，在 Waymo 上排名第二，尽管其使用的检测器在 Waymo 上并非最先进。
• 在图像平面（RV）上进行二次匹配显著减少了 ID 切换和误报，尤其在摄像头检测中深度误差普遍存在的场景下，使用 CasA 检测器时，KITTI 数据集上 IDS 减少了 5%，MOTA 提升了 2.5%。
• Ro_GDIoU 在多个 SOTA 基线中均提升了跟踪性能：在 KITTI（PC3T）上，HOTA 提升 0.48%，MOTA 提升 0.25%；在 nuScenes（Poly-MOT）上，AMOTA 提升 0.4%，MOTA 提升 1.1%，展现出广泛的适用性。
• 所提出的运动感知指标套件揭示，即使轨迹关联正确，现有跟踪系统在预测准确的运动属性（如速度、加速度）方面仍存在显著缺陷，暴露出当前评估范式中的关键缺口。
• BaseVersion 格式实现了跨数据集检测输出的无缝集成，显著减少了对数据集特异性预处理的需求，加速了算法开发流程。
• 消融实验表明，RV 匹配在检测性能较差的场景下收益最大，表明其在计算资源受限的真实部署场景中尤为关键。