[论文解读] 1st Place Solutions for Waymo Open Dataset Challenges -- 2D and 3D Tracking

Yu Wang, Sijia Chen+5 more|arXiv (Cornell University)|Jun 28, 2020

Video Surveillance and Tracking Methods参考文献 11被引用 10

一句话总结

本文提出 HorizonMOT，一种统一的、在线的、实时的 2D 和 3D 多目标跟踪框架，在 Waymo Open Dataset 挑战赛中取得第一名。通过使用高性能的 CenterNet 基检测器和结合 Re-ID 特征与 IoU/Gaussian 核匹配的三阶段关联策略，该框架在跟踪-检测框架中改进了数据关联与轨迹管理，实现了 2D 跟踪 45.13% MOTA/L2 和 3D 跟踪 63.45% MOTA/L2 的性能。

ABSTRACT

This technical report presents the online and real-time 2D and 3D multi-object tracking (MOT) algorithms that reached the 1st places on both Waymo Open Dataset 2D tracking and 3D tracking challenges. An efficient and pragmatic online tracking-by-detection framework named HorizonMOT is proposed for camera-based 2D tracking in the image space and LiDAR-based 3D tracking in the 3D world space. Within the tracking-by-detection paradigm, our trackers leverage our high-performing detectors used in the 2D/3D detection challenges and achieved 45.13% 2D MOTA/L2 and 63.45% 3D MOTA/L2 in the 2D/3D tracking challenges.

研究动机与目标

• 开发一种针对 Waymo Open Dataset 的统一、实时、在线的 2D 和 3D 多目标跟踪系统。
• 通过增强数据关联与轨迹管理，提升基线跟踪-检测方法的性能。
• 在 2D 和 3D 跟踪基准上实现最先进性能，采用实用且可扩展的框架。
• 集成高精度检测器与 Re-ID 特征，以应对遮挡和长期跟踪挑战。

提出的方法

• 提出 HorizonMOT，一种基于卡尔曼滤波器在 2D（8D 状态）和 3D（10D 状态）空间中进行状态预测与更新的跟踪-检测框架。
• 采用三阶段关联策略：首先使用 Re-ID 特征的余弦距离，其次在 2D 中使用 IoU，在 3D 中使用高斯核匹配，并对大位移情况采用自适应缩放。
• 使用基于无锚点的 CenterNet 与 Hourglass-104 主干网络实现 2D 检测，采用改进的 AFDet 基网络实现 3D 检测。
• 推理阶段应用多尺度和翻转增强，通过模型集成与 NMS/加权框融合处理检测输出。
• 使用训练数据子集独立训练一个 11 层 Re-ID 网络，输出 512D 嵌入向量，分别针对行人、汽车和自行车类别。
• 基于检测关联计数器实现轨迹创建与删除，并设置最大年龄阈值以防止轨迹持续存在。

实验结果

研究问题

• RQ1 如何设计一种统一的、在线的、实时的 2D 和 3D 跟踪框架，以在 Waymo Open Dataset 上超越现有跟踪-检测方法？
• RQ2 Re-ID 特征与多阶段关联对减少长时遮挡场景下的轨迹碎片化及提升 MOTA 的影响如何？
• RQ3 单一检测器与跟踪器框架是否能在最小架构改动下同时在 2D 和 3D 跟踪基准上实现顶尖性能？
• RQ4 自适应 IoU 与高斯核阈值在处理跨相机视图的大位移对象时效果如何？

主要发现

• HorizonMOT 在 2D 跟踪挑战中取得 45.13% MOTA/L2，在 3D 跟踪挑战中取得 63.45% MOTA/L2，双双位列排行榜第一。
• 引入第三阶段关联使 MOTA/L2 相比基线提升 3.65%，证明其在处理复杂关联时的有效性。
• 与三阶段基线相比，引入 Re-ID 特征使 MOTA/L2 进一步提升 2.43%，显著减少轨迹碎片化。
• 框架成功实现了行人在长时间遮挡下的持续跟踪，并能有效应对因相机俯仰运动引起的大位移，定性结果已验证。
• 采用集成检测模型、多尺度增强与加权框融合显著提升了检测质量，直接改善了跟踪性能。
• 消融实验确认，Re-ID 与多阶段关联是实现顶级性能的关键组件，尤其在密集与动态场景中表现突出。