[论文解读] CLOCs: Camera-LiDAR Object Candidates Fusion for 3D Object Detection

Su Pang, Daniel Morris+1 more|arXiv (Cornell University)|Sep 2, 2020

Advanced Neural Network Applications参考文献 30被引用 41

一句话总结

CLOCs 引入了一种快速的晚期融合网络，在候选层面上将 2D 图像检测与 3D LiDAR 检测在 NMS 之前进行融合，从而在 KITTI 上提升 3D/BEV 检测，尤其在远距离处。

ABSTRACT

There have been significant advances in neural networks for both 3D object detection using LiDAR and 2D object detection using video. However, it has been surprisingly difficult to train networks to effectively use both modalities in a way that demonstrates gain over single-modality networks. In this paper, we propose a novel Camera-LiDAR Object Candidates (CLOCs) fusion network. CLOCs fusion provides a low-complexity multi-modal fusion framework that significantly improves the performance of single-modality detectors. CLOCs operates on the combined output candidates before Non-Maximum Suppression (NMS) of any 2D and any 3D detector, and is trained to leverage their geometric and semantic consistencies to produce more accurate final 3D and 2D detection results. Our experimental evaluation on the challenging KITTI object detection benchmark, including 3D and bird's eye view metrics, shows significant improvements, especially at long distance, over the state-of-the-art fusion based methods. At time of submission, CLOCs ranks the highest among all the fusion-based methods in the official KITTI leaderboard. We will release our code upon acceptance.

研究动机与目标

• 推动多模态融合，以提升超越单模态检测器的 3D 目标检测。
• 提出一种晚期融合架构，利用检测候选而非原始数据。
• 创建一个概率化、数据驱动的融合模块，用以学习 2D 与 3D 检测之间的依赖关系。
• 确保方法快速、内存占用低，且与现成检测器兼容。
• 在 KITTI 的 3D 与 BEV 指标上展示改进，特别是在远距离处。

提出的方法

• 在 NMS 之前融合 2D 与 3D 检测候选，以避免抑制来自单一模态的真正正例。
• 构建一个稀疏张量，编码 2D 与 3D 检测之间的几何关系（在图像平面上的 IoU）和语义关系（类别、分数）。
• 对非空张量元素使用少量的 1x1 卷积来生成融合概率图。
• 用带有 focal loss 的交叉熵损失训练融合网络，以应对类别不平衡。
• 对单模态检测器使用基于对数似然的分数，以提升融合性能。
• 在现有检测器上工作（不需要重新训练），并在标准 GPU 上实现低延迟（≈<3 ms 每帧）。

实验结果

研究问题

• RQ1 在 KITTI 上，2D 与 3D 检测候选的晚期融合能否超过单模态检测器？
• RQ2 结合几何 IoU 和语义一致性是否能提升多模态检测的准确性？
• RQ3 在 KITTI 3D/BEV 基准上，与不同的 2D/3D 检测器融合时，CLOCs 的表现如何？
• RQ4 使用稀疏张量表示和 1x1 卷积对速度和内存的影响是什么？
• RQ5 哪种分数表示（对数似然与 sigmoid）能带来更好的融合结果？

主要发现

• CLOCs 在 KITTI 验证集上提升了多种融合基线在 3D 与 BEV 指标的表现，且在远距离（40–50 m）有显著提升。
• 使用 IoU、2D 分数、3D 分数以及距离通道可获得最佳性能；移除 IoU 或 3D 分数会降低结果。
• Focal loss 和对数似然分数在融合输入中优于如 sigmoid 的替代方案。
• 与 Cascade R-CNN、PV-RCNN 等融合，在 KITTI 测试/验证中达到领先或接近领先的融合方法。
• CLOCs 维持快速推断，在桌面 GPU 上每帧增加不到 3 ms。