[论文解读] 3D for Free: Crossmodal Transfer Learning using HD Maps

Benjamin Wilson, Zsolt Kira+1 more|arXiv (Cornell University)|Aug 24, 2020

Advanced Neural Network Applications参考文献 40被引用 8

一句话总结

本文提出一种跨模态迁移学习方法，利用2D实例分割和高清（HD）地图，对未标注的激光雷达和图像数据中的3D目标框进行自标注，从而无需人工标注的3D标签。该方法在Argoverse数据集上实现了SOTA的3D检测性能，仅使用1,151个未标注的驾驶日志和HD地图约束，结合形状先验和车道几何信息，实现3D膨胀，显著提升了检测精度。

ABSTRACT

3D object detection is a core perceptual challenge for robotics and autonomous driving. However, the class-taxonomies in modern autonomous driving datasets are significantly smaller than many influential 2D detection datasets. In this work, we address the long-tail problem by leveraging both the large class-taxonomies of modern 2D datasets and the robustness of state-of-the-art 2D detection methods. We proceed to mine a large, unlabeled dataset of images and LiDAR, and estimate 3D object bounding cuboids, seeded from an off-the-shelf 2D instance segmentation model. Critically, we constrain this ill-posed 2D-to-3D mapping by using high-definition maps and object size priors. The result of the mining process is 3D cuboids with varying confidence. This mining process is itself a 3D object detector, although not especially accurate when evaluated as such. However, we then train a 3D object detection model on these cuboids, consistent with other recent observations in the deep learning literature, we find that the resulting model is fairly robust to the noisy supervision that our mining process provides. We mine a collection of 1151 unlabeled, multimodal driving logs from an autonomous vehicle and use the discovered objects to train a LiDAR-based object detector. We show that detector performance increases as we mine more unlabeled data. With our full, unlabeled dataset, our method performs competitively with fully supervised methods, even exceeding the performance for certain object categories, without any human 3D annotations.

研究动机与目标

• 为解决3D目标检测中的长尾问题，利用COCO等2D数据集的广泛类别覆盖能力。
• 通过从未标注的多模态驾驶数据中自监督挖掘3D长方体，减少对昂贵人工标注3D数据的依赖。
• 通过利用来自2D实例分割和HD地图的先验知识，提升稀有目标类别检测的鲁棒性。
• 证明在HD地图和形状先验约束下，即使使用噪声较大的自生成3D监督信号，仍可训练出高精度的3D检测器。

提出的方法

• 使用预训练的CenterMask模型（COCO权重）对自动驾驶日志中的同步相机图像进行2D实例分割。
• 利用几何投影将2D实例掩码反投影至3D激光雷达空间，通过HD地图车道几何信息约束以解决方向歧义。
• 应用物体形状先验和旋转卡尺法，优化3D长方体尺寸，提升与真实世界物体几何的一致性。
• 利用HD地图生成的车道段估计物体方向，降低2D到3D映射中的歧义性。
• 应用非极大值抑制合并重叠或冗余的长方体，生成最终的3D目标提议。
• 在自标注的长方体上微调基于激光雷达的3D检测器（CBGS），并通过数据增强提升泛化能力。

实验结果

研究问题

• RQ1 结合2D实例分割与HD地图，能否生成足够准确的3D目标提议，以训练出具有竞争力的3D检测器？
• RQ2 当3D标注数据稀缺时，从2D检测到3D检测的跨模态迁移学习是否优于完全监督的3D训练？
• RQ3 物体形状先验与HD地图车道几何是否能显著降低2D到3D膨胀过程中的歧义性？
• RQ4 使用噪声较大的自标注3D数据，是否仍能带来优于基线挖掘方法的3D检测性能？

主要发现

• 该方法仅依赖2D实例分割和HD地图先验，从未标注的1,151个驾驶日志中自动生成3D长方体标注，无需人工3D标注。
• 所生成的3D检测器在Argoverse数据集上实现了SOTA的mAP，超越了在完全标注的Argoverse训练集上训练的模型。
• 对于公交车和自行车等稀有类别，自监督模型的表现优于完全监督基线，证明其在长尾类别上的泛化能力更强。
• 平均方向误差（mAOE）从1.21弧度（旋转卡尺法）降低至0.79弧度（HD地图引导的膨胀），表明地图约束的有效性。
• 随着挖掘的未标注数据量增加，检测器性能持续提升，证实了该方法的可扩展性。
• 即使训练数据量减少30%，该方法仍能实现具有竞争力的性能，凸显其数据效率优势。