[论文解读] Multi-Camera Multi-Object Tracking on the Move via Single-Stage Global Association Approach

Pha Nguyen, Kha Gia Quach+4 more|arXiv (Cornell University)|Nov 17, 2022

Advanced Neural Network Applications被引用 4

一句话总结

本文提出一种用于自动驾驶车辆上多摄像头多目标跟踪的单阶段全局关联方法，采用分数最优传输分配（FOTA）直接将跨摄像头的检测结果关联到单一跟踪对象，减少ID切换并提升跟踪精度。与先前基于视觉的方法相比，该方法在nuScenes测试集上性能提升6.4%，ID切换错误从3,807例减少至870例。

ABSTRACT

The development of autonomous vehicles generates a tremendous demand for a low-cost solution with a complete set of camera sensors capturing the environment around the car. It is essential for object detection and tracking to address these new challenges in multi-camera settings. In order to address these challenges, this work introduces novel Single-Stage Global Association Tracking approaches to associate one or more detection from multi-cameras with tracked objects. These approaches aim to solve fragment-tracking issues caused by inconsistent 3D object detection. Moreover, our models also improve the detection accuracy of the standard vision-based 3D object detectors in the nuScenes detection challenge. The experimental results on the nuScenes dataset demonstrate the benefits of the proposed method by outperforming prior vision-based tracking methods in multi-camera settings.

研究动机与目标

• 为解决在移动车辆上多摄像头多目标跟踪（MC-MOT）中因摄像头间3D目标检测不一致导致的不稳定性和碎片化问题。
• 消除对依赖于独立单摄像头跟踪与后续全局匹配的两阶段跟踪流水线的需求。
• 通过在单阶段内直接将多摄像头检测与全局目标轨迹关联，提升动态MC-MOT环境下的跟踪鲁棒性与精度。
• 通过在nuScenes数据集上采用统一的端到端框架，减少ID切换错误并提升检测与跟踪性能。

提出的方法

• 提出一种一对一多全局关联问题的公式化方法，将世界坐标系中的一个跟踪对象映射到多个重叠摄像头视图中的检测结果。
• 引入分数最优传输分配（FOTA），一种可微分方法，将全局关联问题建模为单阶段优化问题。
• 设计两种基于SAGA的框架：SAGA-Track（基于检测的跟踪，采用FOTA）和SAGA-TrackNet（基于注意力的端到端跟踪，包含自注意力与交叉注意力层以建模跨摄像头特征）。
• 利用外观与运动特征进行跨摄像头匹配，增强对部分或缺失检测的鲁棒性。
• 采用统一架构，以端到端方式联合学习特征编码、目标定位与全局轨迹关联。
• 在基线对比中应用经验启发式方法（如IOU阈值处理、框合并）以确保与现有纯视觉方法的公平评估。

实验结果

研究问题

• RQ1 在自动驾驶车辆的动态多摄像头多目标跟踪中，单阶段全局关联方法是否能优于传统的两阶段跟踪流水线？
• RQ2 与现有基于视觉的方法相比，FOTA在nuScenes基准上能在多大程度上提升跟踪精度并减少ID切换错误？
• RQ3 自注意力与交叉注意力机制在建模跨摄像头关系以实现全局目标关联方面的有效性如何？
• RQ4 SAGA-TrackNet中的端到端学习是否相比分阶段跟踪与事后全局匹配具有更好的泛化能力与鲁棒性？

主要发现

• 所提出的SAGA-Track与SAGA-TrackNet方法将nuScenes测试集上的ID切换错误从基线的3,807例减少至870例，显著提升了跟踪稳定性。
• SAGA-TrackNet在AMOTA上达到0.242，在MOTAR上达到0.627，优于SOTA纯视觉方法如QD-3DT与DEFT的多数指标。
• 与先前基于视觉的跟踪方法相比，该方法在nuScenes基准上性能最高提升6.4%。
• SAGA-TrackNet将FRAG（碎片化）错误降低至2,000例，显著低于DEFT的3,420例，表明轨迹连续性更优。
• 该框架在AMOTA、MOTA与召回率方面表现更优，证实了在目标关联与边界框回归方面均具备更高的精度。
• 消融实验表明，跨摄像头的全局外观匹配是减少ID切换与提升跟踪鲁棒性的关键因素。