[论文解读] Lidar Point Cloud Guided Monocular 3D Object Detection

Peng Liang, Fei Liu+6 more|arXiv (Cornell University)|Apr 19, 2021

Advanced Neural Network Applications参考文献 51被引用 7

一句话总结

本文提出LPCG，一种新颖的框架，利用未标注的LiDAR点云生成高质量的伪3D边界框标签，用于单目3D目标检测，显著降低标注成本的同时提升性能。通过利用LiDAR数据中的精确3D测量值，LPCG使单目检测器能够在不修改网络结构的情况下，基于大幅扩展的训练数据进行训练，在KITTI和Waymo基准上仅使用10%的标注数据即达到最先进性能。

ABSTRACT

Monocular 3D object detection is a challenging task in the self-driving and computer vision community. As a common practice, most previous works use manually annotated 3D box labels, where the annotating process is expensive. In this paper, we find that the precisely and carefully annotated labels may be unnecessary in monocular 3D detection, which is an interesting and counterintuitive finding. Using rough labels that are randomly disturbed, the detector can achieve very close accuracy compared to the one using the ground-truth labels. We delve into this underlying mechanism and then empirically find that: concerning the label accuracy, the 3D location part in the label is preferred compared to other parts of labels. Motivated by the conclusions above and considering the precise LiDAR 3D measurement, we propose a simple and effective framework, dubbed LiDAR point cloud guided monocular 3D object detection (LPCG). This framework is capable of either reducing the annotation costs or considerably boosting the detection accuracy without introducing extra annotation costs. Specifically, It generates pseudo labels from unlabeled LiDAR point clouds. Thanks to accurate LiDAR 3D measurements in 3D space, such pseudo labels can replace manually annotated labels in the training of monocular 3D detectors, since their 3D location information is precise. LPCG can be applied into any monocular 3D detector to fully use massive unlabeled data in a self-driving system. As a result, in KITTI benchmark, we take the first place on both monocular 3D and BEV (bird's-eye-view) detection with a significant margin. In Waymo benchmark, our method using 10% labeled data achieves comparable accuracy to the baseline detector using 100% labeled data. The codes are released at https://github.com/SPengLiang/LPCG.

研究动机与目标

• 探究完美标注的3D边界框标签是否对单目3D检测至关重要。
• 识别3D边界框标签中哪些组件（位置、方向、尺寸）对检测器性能影响最大。
• 通过利用未标注数据中的精确LiDAR测量值，降低单目3D检测中的标注成本。
• 开发一种即插即用的框架，通过伪标注的LiDAR点云增强任意单目3D检测器，而无需额外标注。

提出的方法

• 该框架通过预训练的LiDAR检测器（高精度模式）或基于启发式聚类与边界框估计的方法（低成本模式），从未标注的LiDAR点云中生成伪3D边界框。
• 在高精度模式下，先在少量标注数据上训练一个基于LiDAR的检测器，并用于在未标注数据上生成高质量的伪标签。
• 在低成本模式下，直接通过RoI（感兴趣区域）LiDAR点云进行点聚类和最小包围框估计，无需任何3D边界框标注。
• 生成的伪标签用于训练单目3D检测器，由于LiDAR测量的高精度，3D位置信息得以保留。
• 该框架可与任意单目3D检测器兼容，且无需修改网络结构即可无缝集成。
• 该方法支持利用海量未标注LiDAR数据进行大规模自监督预训练，显著扩展训练数据量，同时避免人工标注。

实验结果

研究问题

• RQ1 是否必须使用完美标注的3D边界框标签进行单目3D检测，还是较低精度的标签已足够？
• RQ2 3D边界框标签的哪个组件——位置、方向或尺寸——对检测器性能影响最大？
• RQ3 能否有效利用未标注的LiDAR点云生成可靠的伪标签用于单目3D检测？
• RQ4 能否通过使用LiDAR数据的自监督框架，在不增加额外标注成本的情况下提升单目3D检测的准确性？

主要发现

• 对3D边界框标签施加扰动（如随机位移）对检测器性能影响极小，表明完美标注并非必需。
• 3D位置是标签中最重要的因素，因其是单目3D检测中深度模糊导致的主要瓶颈。
• 在Waymo基准上，仅使用10%标注数据结合LPCG即可达到与在100%标注数据上训练的基线模型相当的性能。
• 在KITTI基准上，LPCG使单目检测器达到最先进性能，同时在单目3D检测和鸟瞰图（BEV）检测中均排名第一。
• 该框架在多种单目检测器上均一致提升性能，包括MonoGRNet、M3D-RPN、RTM3D和MonoFlex，在中等难度集上AP3D（IoU=0.5）提升最高达+14.36，AP3D（IoU=0.7）提升最高达+11.20。
• 即使是一个简单的单目检测器（使用ResNet18主干网络），在LPCG增强后性能也可媲美更复杂的模型，证明了其鲁棒性与可扩展性。