[论文解读] Monocular 3D Object Detection with Pseudo-LiDAR Point Cloud

Xinshuo Weng, Kris Kitani|arXiv (Cornell University)|Mar 23, 2019

Advanced Neural Network Applications参考文献 53被引用 35

一句话总结

这篇论文通过单目深度估计将单张图像转换为伪-LiDAR 点云，并使用基于 LiDAR 的 Frustum PointNets 结合边界框一致性，在 KITTI 上实现了最前沿的单目 3D 检测。

ABSTRACT

Monocular 3D scene understanding tasks, such as object size estimation, heading angle estimation and 3D localization, is challenging. Successful modern day methods for 3D scene understanding require the use of a 3D sensor. On the other hand, single image based methods have significantly worse performance. In this work, we aim at bridging the performance gap between 3D sensing and 2D sensing for 3D object detection by enhancing LiDAR-based algorithms to work with single image input. Specifically, we perform monocular depth estimation and lift the input image to a point cloud representation, which we call pseudo-LiDAR point cloud. Then we can train a LiDAR-based 3D detection network with our pseudo-LiDAR end-to-end. Following the pipeline of two-stage 3D detection algorithms, we detect 2D object proposals in the input image and extract a point cloud frustum from the pseudo-LiDAR for each proposal. Then an oriented 3D bounding box is detected for each frustum. To handle the large amount of noise in the pseudo-LiDAR, we propose two innovations: (1) use a 2D-3D bounding box consistency constraint, adjusting the predicted 3D bounding box to have a high overlap with its corresponding 2D proposal after projecting onto the image; (2) use the instance mask instead of the bounding box as the representation of 2D proposals, in order to reduce the number of points not belonging to the object in the point cloud frustum. Through our evaluation on the KITTI benchmark, we achieve the top-ranked performance on both bird's eye view and 3D object detection among all monocular methods, effectively quadrupling the performance over previous state-of-the-art. Our code is available at https://github.com/xinshuoweng/Mono3D_PLiDAR.

研究动机与目标

• 通过使 LiDAR 基础的三维检测器能够处理单张图像来缩小 3D 感知与 2D 感知之间的性能差距。
• 从单目深度估计和图像提升生成伪-LiDAR 点云。
• 通过 2D-3D 边界框一致性和实例掩码提案来缓解伪-LiDAR 噪声。
• 在 KITTI BEV 和 3D 指标上展示最先进的单目 3D 检测性能。
• 提供对关键组件：BBCL、BBCO、实例掩码和密度效应的消融证据。

提出的方法

• 通过单目深度估计将输入图像的每个像素提升至 3D，创建伪-LiDAR 点云。
• 检测 2D 实例掩码（而非边界框），并从伪-LiDAR 中为每个提案提取点云截锥。
• 应用以 Frustum PointNet 为基础的非视物体 3D 检测器来预测每个截锥的 3D 边界框参数（x,y,z,h,w,l,θ）。
• 在训练期间通过 Bounding Box Consistency Loss (BBCL) 增加 2D-3D 边界框一致性约束。
• 在测试阶段通过 Bounding Box Consistency Optimization (BBCO) 对预测进行细化，以最大化投影到 2D 提案的 3D 框的 2D IoU。
• 可选地移除 TNet 组件以研究其对性能的影响。

实验结果

研究问题

• RQ1 是否可以利用单目深度估计来产生可用于 3D 目标检测的可用伪-LiDAR 表示？
• RQ2 2D 实例掩码和 2D-3D 边界框一致性约束是否在伪-LiDAR 下改善单目 3D 检测？
• RQ3 伪-LiDAR 的密度和 3D 框的 refinements 如何影响 KITTI 的 BEV 和 3D 检测指标？
• RQ4 在训练和测试中使用 BBCL 和 BBCO 后处理的好处是什么？
• RQ5 单目方法在标准基准上能多接近基于 LiDAR 的 3D 检测性能？

主要发现

• 该方法在 KITTI 的单目方法中获得了 AP_BE V_Easy、AP_BE V_Moderate、AP_BE V_Hard、AP_3D_Easy、AP_3D_Moderate、AP_3D_Hard 的最高排名，较此前方法有显著提升。
• 在 IoU 0.5 的中等车型下，AP_3D 从 5.7%（之前状态）提升至 21.0%（所提出的方法）。
• 在 IoU 0.5 时，Ours 的 BEV 和 3D 指标在 Easy、Moderate、Hard 的分别达到 72.1% 和 68.4%（Easy），53.1% 和 48.3%（Moderate），44.6% 和 43.0%（Hard）。
• BBCL 和 BBCO 在 IoU 0.5 和 0.7 的 3D 检测上相较基线 +PLiDAR 在 Easy/Moderate/Hard 上提供了显著增益。
• 使用实例掩码生成的 2D 提案可减少伪-LiDAR 截锥中的尾部伪影并改善 3D 尺寸估计。
• 移除 TNet 产生的结果参差不齐，可能略微提升某些 IoU0.7 指标，但并未始终优于完整设计。