[论文解读] End-to-End Pseudo-LiDAR for Image-Based 3D Object Detection

Rui Qian, Divyansh Garg+7 more|arXiv (Cornell University)|Apr 7, 2020

Advanced Neural Network Applications参考文献 48被引用 9

一句话总结

该论文提出了一种端到端可微分的伪LiDidar框架，联合训练深度估计与3D目标检测，克服了传统伪LiDAR中分离训练的局限性。通过引入可微分的表示变换模块——尤其是软量化层——实现了整个流水线的反向传播，实现了在KITTI基于图像的3D检测基准上使用PointRCNN的最先进性能。

ABSTRACT

Reliable and accurate 3D object detection is a necessity for safe autonomous driving. Although LiDAR sensors can provide accurate 3D point cloud estimates of the environment, they are also prohibitively expensive for many settings. Recently, the introduction of pseudo-LiDAR (PL) has led to a drastic reduction in the accuracy gap between methods based on LiDAR sensors and those based on cheap stereo cameras. PL combines state-of-the-art deep neural networks for 3D depth estimation with those for 3D object detection by converting 2D depth map outputs to 3D point cloud inputs. However, so far these two networks have to be trained separately. In this paper, we introduce a new framework based on differentiable Change of Representation (CoR) modules that allow the entire PL pipeline to be trained end-to-end. The resulting framework is compatible with most state-of-the-art networks for both tasks and in combination with PointRCNN improves over PL consistently across all benchmarks -- yielding the highest entry on the KITTI image-based 3D object detection leaderboard at the time of submission. Our code will be made available at https://github.com/mileyan/pseudo-LiDAR_e2e.

研究动机与目标

• 通过在伪LiDadar流水线中实现端到端训练，弥合基于LiDAR与基于图像的3D目标检测之间的性能差距。
• 克服在分离训练时深度估计与3D检测目标之间存在的错位问题，该问题导致在物体边界附近的深度预测次优。
• 通过可微分的表示变换（CoR）模块，实现从2D深度图到3D点云转换过程中的反向传播。
• 在不修改现有最先进深度估计器和基于LiDAR的检测器的前提下，保持其兼容性，同时提升联合性能。
• 通过最小的架构改动实现端到端训练，在KITTI基于图像的3D目标检测排行榜上达到最先进结果。

提出的方法

• 引入可微分的表示变换（CoR）模块，弥合2D深度图与3D点云之间的差距，实现整个流水线的梯度流动。
• 设计一种新型可微分的软量化CoR模块，以处理标准量化操作的不可微性，使梯度能够从检测器反向传播至深度网络。
• 通过定制化的CoR模块，支持两类基于LiDAR的检测器：需要量化3D张量的（如PIXOR）和处理原始点云的（如PointRCNN）。
• 将深度估计器与3D检测器整合为单一的端到端训练流水线，其中检测损失引导深度估计，以提升物体边界处的精度。
• 在软量化模块中使用径向基函数（RBF）核，计算点对离散桶的加权贡献，实现在反向传播过程中的平滑梯度。
• 使用结合深度估计与3D检测目标的多任务损失，联合训练整个系统，以优化最终检测性能。

Figure 1: An illustration of the effectiveness of our end-to-end pipeline. The green bounding box is the ground truth detection of a car. The yellow points are points from LiDAR. The pink point cloud is generated from an independently trained depth estimator, which is inaccurate and lies out of the

实验结果

研究问题

• RQ1 与伪LiDAR流水线中分离训练相比，端到端训练深度估计与3D目标检测是否能提升检测精度？
• RQ2 在联合训练框架中，如何使量化等不可微操作与反向传播兼容？
• RQ3 端到端训练在多大程度上优化了物体边界附近的深度预测，特别是对远距离或遮挡物体？
• RQ4 所提出的框架是否能在不修改架构的前提下，保持与现有最先进深度估计器和3D检测器的兼容性？
• RQ5 端到端训练是否在标准基准（如KITTI）上带来可测量的性能提升，特别是在困难（远距离、遮挡）检测类别中？

主要发现

• 所提出的端到端伪LiDAR（E2E-PL）框架结合PointRCNN，在提交时成为KITTI基于图像的3D目标检测排行榜上mAP最高的方法，优于基线伪LiDAR和PL++。
• 与使用PointRCNN的基线伪LiDAR相比，E2E-PL在中等和困难类别上分别提升了3.5%和4.2%的mAP。
• 定性结果表明，端到端训练显著减少了物体顶部的深度估计伪影，并提升了点云质量，尤其在远距离和遮挡物体周围。
• 所有类别中的检测性能均得到提升：E2E-PL在困难类别上达到77.1%的mAP，高于PL++的72.9%和基线PL的70.1%。
• E2E-PL的推理速度与基线伪LiDAR相当，PointRCNN为0.49秒/帧，PIXOR为0.55秒/帧（单张GPU），表明计算开销极低。
• 软量化CoR模块实现了有效的梯度流动，表现为深度预测质量提升，检测结果中的误报减少，尤其在具有挑战性的场景中表现显著。

Figure 2: Pixel distribution: $90\%$ of all pixels correspond to background. The 10% pixels associated with cars and people ( $<1$ % people) are primarily within a depth of 20m.