[论文解读] Geometric-aware Pretraining for Vision-centric 3D Object Detection

Linyan Huang, Huijie Wang+5 more|arXiv (Cornell University)|Apr 6, 2023

Advanced Neural Network Applications被引用 5

一句话总结

本文提出GAPretrain，一种几何感知的预训练框架，通过联合使用LiDAR生成的鸟瞰图（BEV）表示，对图像主干网络和视角变换模块进行预训练，从而增强以视觉为中心的3D目标检测。通过采用统一的鸟瞰图（BEV）空间，并引入LiDAR引导的掩码生成和目标感知几何相关模块，该方法减少了模态错位，提升了空间特征学习效果，在使用BEVFormer的nuScenes数据集上实现了46.2 mAP和55.5 NDS的性能，较基线模型分别提升了2.7和2.1个点。

ABSTRACT

Multi-camera 3D object detection for autonomous driving is a challenging problem that has garnered notable attention from both academia and industry. An obstacle encountered in vision-based techniques involves the precise extraction of geometry-conscious features from RGB images. Recent approaches have utilized geometric-aware image backbones pretrained on depth-relevant tasks to acquire spatial information. However, these approaches overlook the critical aspect of view transformation, resulting in inadequate performance due to the misalignment of spatial knowledge between the image backbone and view transformation. To address this issue, we propose a novel geometric-aware pretraining framework called GAPretrain. Our approach incorporates spatial and structural cues to camera networks by employing the geometric-rich modality as guidance during the pretraining phase. The transference of modal-specific attributes across different modalities is non-trivial, but we bridge this gap by using a unified bird's-eye-view (BEV) representation and structural hints derived from LiDAR point clouds to facilitate the pretraining process. GAPretrain serves as a plug-and-play solution that can be flexibly applied to multiple state-of-the-art detectors. Our experiments demonstrate the effectiveness and generalization ability of the proposed method. We achieve 46.2 mAP and 55.5 NDS on the nuScenes val set using the BEVFormer method, with a gain of 2.7 and 2.1 points, respectively. We also conduct experiments on various image backbones and view transformations to validate the efficacy of our approach. Code will be released at https://github.com/OpenDriveLab/BEVPerception-Survey-Recipe.

研究动机与目标

• 解决多摄像头3D目标检测中图像主干网络与视角变换模块之间空间知识错位的问题。
• 通过利用统一的BEV表示，提升从LiDAR到基于摄像头模型的几何知识迁移效果。
• 在预训练过程中，减少稀疏LiDAR点云与密集图像特征之间的域差距。
• 实现与最先进BEV检测器的即插即用式集成，无需修改网络架构。
• 利用大规模未标注的摄像头与LiDAR数据，实现高效的预训练。

提出的方法

• 该方法提出一种蒸馏式预训练范式，利用LiDAR点云作为几何监督信号，在统一的BEV空间中指导图像主干网络与视角变换模块的预训练。
• 采用LiDAR引导的掩码生成模块，利用处理后的LiDAR注意力图突出图像特征中的显著区域，并抑制噪声背景区域。
• 目标感知几何相关模块通过在BEV空间中建模检测到的物体之间的空间关系，增强跨实例的几何一致性。
• 对LiDAR点分布应用具有(3,3)核的高斯操作，以平滑分布并减少BEV表示中的量化误差。
• 预训练损失基于图像模型的BEV特征与LiDAR模型的BEV特征之间的L2距离，避免在标准知识蒸馏中使用的复杂KL散度。
• 通过使用全数据集的均值和方差固定批归一化统计量，对特征进行白化处理，以稳定训练并防止特征坍塌。

实验结果

研究问题

• RQ1 使用LiDAR生成的几何先验进行预训练，能否提升基于BEV框架的纯摄像头3D目标检测器性能？
• RQ2 对图像主干网络与视角变换模块进行联合预训练，如何影响空间特征对齐与检测精度？
• RQ3 LiDAR引导的注意力掩码与几何相关模块在多大程度上减少了图像与LiDAR特征之间的模态差距？
• RQ4 在跨模态设置中，使用简单的L2损失进行预训练是否优于更复杂的知识蒸馏目标（如KL散度）？
• RQ5 所提出的方法是否能在不同图像主干网络与视角变换架构之间实现良好泛化？

主要发现

• 在使用BEVFormer的nuScenes验证集上，GAPretrain实现了46.2 mAP和55.5 NDS，较基线模型分别提升了2.7 mAP和2.1 NDS。
• 仅使用掩码生成模块即可使mAP提升2.4%，并将mATE（目标定位误差）降低5.9%，表明其在特征精炼方面的有效性。
• 加入目标感知几何相关模块后，NDS进一步提升0.4%，证明其在增强实例间空间一致性方面的有效性。
• 在注意力图缩放中使用对数函数进行正则化，相比其他函数可使mAP提升3.1%，凸显其在特征校准中的关键作用。
• 从LiDAR模型继承检测头可使mAP提升0.6%，NDS提升2.3%，表明更优的检测头初始化能显著提升最终性能。
• 消融实验表明，L2损失在预训练中比KL散度更有效，且固定批归一化统计量能显著提升训练稳定性和性能。