[论文解读] An Overview Of 3D Object Detection

Yilin Wang, Jiayi Ye|arXiv (Cornell University)|Oct 29, 2020

Advanced Neural Network Applications参考文献 35被引用 7

一句话总结

本文提出了一种融合RGB图像与LiDAR点云的3D目标检测框架，以提升在稀疏点云上的检测精度。该方法利用2D目标检测器在RGB图像中定位感兴趣区域，通过像素到点云的映射将这些区域映射至3D点云，并利用nuScenes数据集进行训练和评估，将2D检测框提升至3D空间。

ABSTRACT

Point cloud 3D object detection has recently received major attention and becomes an active research topic in 3D computer vision community. However, recognizing 3D objects in LiDAR (Light Detection and Ranging) is still a challenge due to the complexity of point clouds. Objects such as pedestrians, cyclists, or traffic cones are usually represented by quite sparse points, which makes the detection quite complex using only point cloud. In this project, we propose a framework that uses both RGB and point cloud data to perform multiclass object recognition. We use existing 2D detection models to localize the region of interest (ROI) on the RGB image, followed by a pixel mapping strategy in the point cloud, and finally, lift the initial 2D bounding box to 3D space. We use the recently released nuScenes dataset---a large-scale dataset contains many data formats---to training and evaluate our proposed architecture.

研究动机与目标

• 解决在LiDAR点云中检测稀疏3D目标（如行人和交通锥）的挑战。
• 利用RGB图像中的丰富语义信息以提升3D检测性能。
• 开发一种结合2D检测与3D点云处理的多模态检测框架。
• 利用nuScenes数据集训练并评估所提出的3D检测架构。
• 通过融合RGB与LiDAR传感器的互补数据，提升检测的鲁棒性与精度。

提出的方法

• 应用预训练的2D目标检测模型，以在RGB图像中定位感兴趣区域（ROIs）。
• 利用几何投影与相机标定，将2D图像坐标映射至3D点云空间。
• 通过像素到点云的映射，提取对应于2D ROIs的3D点云区域。
• 通过估计深度并生成3D定向边界框，将2D检测框提升至3D空间。
• 在包含多传感器数据（LiDAR、RGB、雷达、GPS、IMU）的nuScenes数据集上进行模型训练与评估。
• 采用两阶段检测流程：先进行2D检测，再利用点云数据进行3D优化。

实验结果

研究问题

• RQ1 将2D RGB检测与3D LiDAR点云数据结合，是否能提升对稀疏3D目标的检测性能？
• RQ2 像素到点云的映射在将2D检测结果转移至3D空间方面有多高效？
• RQ3 与单模态检测相比，使用多模态融合（RGB + LiDAR）在3D目标检测中的性能增益如何？
• RQ4 所提出的方法在大规模、多传感器数据集（如nuScenes）上的泛化能力如何？
• RQ5 2D检测在多大程度上有助于减少稀疏点云中3D目标检测的搜索空间？

主要发现

• 与仅使用点云相比，RGB与LiDAR数据的融合显著提升了3D目标检测性能。
• 所提出的方法通过利用RGB图像中的语义线索，有效处理了行人和交通锥等稀疏目标。
• 像素到点云的映射能够从2D检测中准确生成3D边界框，从而减少漏检。
• 利用nuScenes数据集可实现稳健评估，因其规模大且多传感器数据一致。
• 通过2D检测减少3D搜索空间，该框架在检测精度与效率方面均表现提升。
• 该方法在nuScenes基准上实现了具有竞争力的性能，验证了多模态融合在3D检测中的有效性。