[论文解读] Monocular Quasi-Dense 3D Object Tracking

Hou-Ning Hu, Yung-Hsu Yang+4 more|arXiv (Cornell University)|Mar 12, 2021

Video Surveillance and Tracking Methods被引用 7

一句话总结

该论文提出了一种单目准密集3D目标跟踪框架，通过利用准密集相似性学习、3D边界框深度排序启发式方法以及基于LSTM的速度模块，实现了从单目摄像头视频中进行鲁棒3D跟踪，并结合自运动估计。该方法在nuScenes数据集上达到最先进性能（比之前纯视觉方法高5倍准确率），并在Waymo Open 3D跟踪基准上建立了首个纯摄像头基线。

ABSTRACT

A reliable and accurate 3D tracking framework is essential for predicting future locations of surrounding objects and planning the observer's actions in numerous applications such as autonomous driving. We propose a framework that can effectively associate moving objects over time and estimate their full 3D bounding box information from a sequence of 2D images captured on a moving platform. The object association leverages quasi-dense similarity learning to identify objects in various poses and viewpoints with appearance cues only. After initial 2D association, we further utilize 3D bounding boxes depth-ordering heuristics for robust instance association and motion-based 3D trajectory prediction for re-identification of occluded vehicles. In the end, an LSTM-based object velocity learning module aggregates the long-term trajectory information for more accurate motion extrapolation. Experiments on our proposed simulation data and real-world benchmarks, including KITTI, nuScenes, and Waymo datasets, show that our tracking framework offers robust object association and tracking on urban-driving scenarios. On the Waymo Open benchmark, we establish the first camera-only baseline in the 3D tracking and 3D detection challenges. Our quasi-dense 3D tracking pipeline achieves impressive improvements on the nuScenes 3D tracking benchmark with near five times tracking accuracy of the best vision-only submission among all published methods. Our code, data and trained models are available at https://github.com/SysCV/qd-3dt.

研究动机与目标

• 实现无需LiDAR或深度传感器的单目视频中精确且鲁棒的3D目标跟踪。
• 通过外观和运动线索解决长期跟踪中的挑战，包括遮挡、重新识别和视角变化。
• 开发一种可扩展的、数据密集型的训练流程，利用大规模合成驾驶仿真数据集进行训练。
• 在Waymo Open数据集上建立强大的纯摄像头基线，推动低成本自动驾驶系统的发展。

提出的方法

• 使用多头网络从单目图像中预测3D边界框属性（中心点、深度、尺寸、方向）。
• 采用准密集相似性学习，从密集分布的目标提议中计算实例嵌入，提升特征匹配的鲁棒性。
• 应用深度排序启发式方法和基于运动的3D轨迹预测，以增强遮挡和重新识别期间的实例关联能力。
• 集成基于LSTM的速度学习模块（VeloLSTM），聚合长期轨迹信息以提升运动外推性能。
• 利用具有真实3D轨迹和动态元数据的大规模合成仿真数据集，训练端到端的跟踪流程。
• 通过自运动补偿将3D目标位姿投影到世界坐标系中，以实现帧间跟踪的稳定性。

实验结果

研究问题

• RQ1 与稀疏真实框相比，利用密集提议而非稀疏真实框是否能通过准密集相似性学习提升单目跟踪中的3D目标关联性能？
• RQ2 深度排序启发式方法和基于运动的预测在解决3D跟踪中的遮挡和重新识别问题方面有多有效？
• RQ3 与基于LiDAR的方法相比，单目系统在真实世界基准上能否实现具有竞争力的3D跟踪性能？
• RQ4 大规模合成数据集是否能有效支持鲁棒单目3D跟踪系统在真实世界部署中的训练？
• RQ5 通过VeloLSTM集成长期运动建模是否能显著提升3D跟踪中的轨迹预测精度？

主要发现

• 所提出的准密集3D跟踪流程在nuScenes 3D跟踪基准上实现了AMOTA@1.0为0.217，性能接近之前最优纯视觉方法CenterTrack-Vision（0.046）的五倍。
• 在KITTI跟踪基准上，MOTA从84.52提升至86.41，在已发表方法中位列第三，较前一版本提升五名。
• 该框架在Waymo Open 3D跟踪基准上建立了首个纯摄像头基线，展示了对真实世界城市驾驶场景的强大泛化能力。
• 合成仿真数据集支持了有效的预训练，并推动了数据密集型深度学习流程在单目3D跟踪中的发展。
• 在nuScenes和Waymo上的定性结果表明，系统具备鲁棒的长期跟踪能力，能够实现精确的3D边界框估计和复杂场景中一致的轨迹预测。