[论文解读] 3D Fully Convolutional Network for Vehicle Detection in Point Cloud

Bo Li|arXiv (Cornell University)|Nov 24, 2016

Remote Sensing and LiDAR Applications参考文献 15被引用 23

一句话总结

本文提出一种用于激光雷达点云中端到端3D车辆检测的3D全卷积网络（FCN），通过下采样和反卷积上采样将2D FCN原理扩展至3D体素空间。该方法在KITTI数据集上达到最先进性能，在在线评估中较先前基于点云的方法提升超过20%，并在图像平面与地面平面检测指标上均创下新SOTA记录。

ABSTRACT

2D fully convolutional network has been recently successfully applied to object detection from images. In this paper, we extend the fully convolutional network based detection techniques to 3D and apply it to point cloud data. The proposed approach is verified on the task of vehicle detection from lidar point cloud for autonomous driving. Experiments on the KITTI dataset shows a significant performance improvement over the previous point cloud based detection approaches.

研究动机与目标

• 开发一种基于全卷积网络的端到端3D目标检测框架，用于激光雷达点云。
• 通过直接在3D空间数据上操作，解决基于2D检测的局限性，实现更精确的3D定位。
• 通过利用3D空间特征并减少尺度变化与遮挡影响，提升在KITTI基准上的检测性能。
• 在图像平面与地面平面评估指标上验证该方法，以反映真实自动驾驶场景的需求。

提出的方法

• 该方法采用3D FCN架构，包含三层下采样卷积层（下采样率1/2^3），随后通过反卷积层进行特征上采样。
• 网络在每个空间位置输出两个预测结果：通过独立输出图预测的物体存在置信度和3D边界框偏移量。
• 物体存在性通过经过Softmax激活的分数预测，而边界框坐标则作为相对于候选区域的偏移向量预测。
• 总损失函数结合了物体存在性和边界框回归损失，使用平衡权重w，分别采用交叉熵损失和L2损失。
• 推理过程包括选择高置信度区域，并对其预测的边界框进行聚类，生成最终检测结果。
• 该方法采用图像平面与地面平面的IoU指标进行评估，3D边界框通过投影用于比较。

实验结果

研究问题

• RQ1 全卷积网络能否成功从2D图像扩展至3D点云数据，实现端到端目标检测？
• RQ2 与先前基于点云的方法相比，3D FCN检测在KITTI基准上的准确性和鲁棒性是否更优？
• RQ3 在3D空间（地面平面）与2D图像空间中进行检测时，性能表现如何变化？哪种评估方式更符合真实自动驾驶需求？
• RQ4 尽管3D到2D投影存在分辨率较低和对齐偏差的问题，该提出的3D FCN能否在性能上与基于图像的检测方法相媲美？

主要发现

• 所提出的3D FCN在KITTI 'easy'图像平面基准上达到93.7%的平均精度（AP），显著优于先前SOTA方法VeloFCN的74.1% AP。
• 在地面平面评估中，该方法在'easy'数据集上达到88.9% AP，展现出在自动驾驶至关重要的水平定位方面更优的性能。
• 在KITTI在线评估中，该方法在'easy'数据集上达到84.2% AP，较VeloFCN的60.3% AP提升超过20个百分点。
• 该方法在平均方向相似度（AOS）指标上表现优异，'easy'地面平面数据集上达到88.9%，表明其具有准确的方向估计能力。
• 结果表明，与2D投影相比，3D FCN能更有效地缓解尺度变化与遮挡问题，从而在3D空间中实现更鲁棒的检测。
• 该框架在其他点云源（包括Kinect、立体视觉和SfM）上也表现出良好泛化能力，表明其在Velodyne激光雷达之外也具有广泛适用性。