[论文解读] Joint Multi-Object Detection and Tracking with Camera-LiDAR Fusion for Autonomous Driving

Kemiao Huang, Hao Qi|arXiv (Cornell University)|Aug 10, 2021

Video Surveillance and Tracking Methods被引用 6

一句话总结

本文提出了一种用于自动驾驶的实时、端到端联合多目标检测与跟踪（JMODT）框架，通过相机-LiDAR融合实现。该框架将3D目标检测与在线关联整合于统一网络中，采用结合外观、运动和几何信息的鲁棒3D相似度度量，并利用混合整数规划（MIP）进行综合数据关联，在KITTI基准上实现了最先进水平的MOTA（86.3%）与推理速度（0.01秒），且无需外部预训练。

ABSTRACT

Multi-object tracking (MOT) with camera-LiDAR fusion demands accurate results of object detection, affinity computation and data association in real time. This paper presents an efficient multi-modal MOT framework with online joint detection and tracking schemes and robust data association for autonomous driving applications. The novelty of this work includes: (1) development of an end-to-end deep neural network for joint object detection and correlation using 2D and 3D measurements; (2) development of a robust affinity computation module to compute occlusion-aware appearance and motion affinities in 3D space; (3) development of a comprehensive data association module for joint optimization among detection confidences, affinities and start-end probabilities. The experiment results on the KITTI tracking benchmark demonstrate the superior performance of the proposed method in terms of both tracking accuracy and processing speed.

研究动机与目标

• 解决自动驾驶中级联跟踪-检测流水线在多目标跟踪（MOT）方面的局限性。
• 通过多模态传感器融合提升遮挡和密集目标分布下的跟踪鲁棒性。
• 开发一种统一框架，联合优化检测、关联与数据关联，实现实时性能。
• 将检测置信度、相似度度量与轨迹起止概率整合至综合数据关联模块。
• 通过仅依赖3D标注的端到端联合学习，消除对外部2D数据集或预训练的需求。

提出的方法

• 一种端到端的深度神经网络，联合从融合的2D（相机）和3D（LiDAR）测量中预测3D边界框与关联分数。
• 提出一种新型3D运动感知相似度计算模块，利用距离-IoU（DIoU）度量融合相机的外观特征与卡尔曼滤波器的运动预测。
• 系统采用点级融合的相机与LiDAR特征，以保持空间精度并实现精确的3D定位。
• 综合数据关联模块采用混合整数规划（MIP）联合优化检测置信度、相似度分数与轨迹起止概率。
• 框架包含一个起止估计模块，用于区分外观相似的物体，从而减少ID切换。
• 模型在无需外部2D数据集预训练的情况下端到端训练，仅依赖3D标注进行监督。

Figure 1: An overview of the classical MOT system with camera-LiDAR fusion for autonomous driving. $\text{Frame}_{t-1}$ and $\text{Frame}_{t}$ are two adjacent frames of fused 2D-3D data respectively. $S_{1...4}$ represent tracking states.

实验结果

研究问题

• RQ1 在相机-LiDAR融合系统中，检测与跟踪的联合端到端学习是否能提升跟踪精度与推理速度？
• RQ2 在遮挡与密集目标场景下，引入3D运动与几何感知相似度度量在多大程度上增强系统鲁棒性？
• RQ3 能够建模检测不确定性与轨迹生命周期的统一数据关联模块，在多大程度上提升跟踪性能？
• RQ4 联合检测与跟踪框架是否能消除对外部2D预训练的需求，同时保持或提升性能？
• RQ5 所提方法在真实世界基准上与最先进水平的跟踪-检测与联合检测-跟踪基线相比表现如何？

主要发现

• 所提出的JMODT框架在KITTI车辆跟踪基准上实现了86.27%的MOTA得分，优于现有相机-LiDAR融合方法。
• 该方法每帧处理速度达0.01秒，显著快于基线mmMOT（0.02秒）及其他最先进方法。
• 采用混合整数规划（MIP）进行数据关联，将误报数（FP）从1946（匈牙利算法）降至578，ID切换数（IDSW）从1169降至2（检测置信度阈值为0.85）。
• 所提出的融合外观与运动信息的3D DIoU相似度度量，将IDSW降至仅2，证明在遮挡与复杂运动场景下具有卓越鲁棒性。
• 起止估计模块成功区分外观相似物体，防止了基线mmMOT在类似情况下发生的ID切换。
• 该方法在无需外部2D数据集或预训练的前提下，实现了最先进性能，仅依赖3D标注完成端到端训练。

Figure 2: The system architecture of the proposed camera-LiDAR based joint multi-object detection and tracking system.