[论文解读] RefinedMPL: Refined Monocular PseudoLiDAR for 3D Object Detection in Autonomous Driving

Jean Marie Uwabeza Vianney, Shubhra Aich+1 more|arXiv (Cornell University)|Nov 21, 2019

Advanced Neural Network Applications参考文献 56被引用 42

一句话总结

本文提出对密集单目 PseudoLiDAR 的无监督和有监督稀疏化，以提升 3D 对象检测，在 KITTI Car 与 Pedestrian 数据集上达到 SOTA。

ABSTRACT

In this paper, we strive for solving the ambiguities arisen by the astoundingly high density of raw PseudoLiDAR for monocular 3D object detection for autonomous driving. Without much computational overhead, we propose a supervised and an unsupervised sparsification scheme of PseudoLiDAR prior to 3D detection. Both the strategies assist the standard 3D detector gain better performance over the raw PseudoLiDAR baseline using only ~5% of its points on the KITTI object detection benchmark, thus making our monocular framework and LiDAR-based counterparts computationally equivalent (Figure 1). Moreover, our architecture agnostic refinements provide state-of-the-art results on KITTI3D test set for "Car" and "Pedestrian" categories with 54% relative improvement for "Pedestrian". Finally, exploratory analysis is performed on the discrepancy between monocular and LiDAR-based 3D detection frameworks to guide future endeavours.

研究动机与目标

• 解决原始 PseudoLiDAR 在单目 3D 检测中的高背景密度和计算负担。
• 提出无监督与有监督的预处理流水线，在 3D 检测之前对 PseudoLiDAR 进行 refined。
• 在 KITTI 3D 对象检测基准上展示性能提升。
• 提供单目深度先验与 LiDAR 基于 3D 检测之间差距的洞察。
• 评估数据工程权衡与架构无关的 refinements。

提出的方法

• 无监督稀疏化：通过前向差分图的 LoG 极值选择 Points of Interest Selection (PoIS)；使用 3D 最近邻查询的近似前景分离 (AFgS)；Distance-Stratified Sampler (DSS) 在减少点数的同时保留前景密度。
• 有监督稀疏化：Depth-Shared 2D Detector (DSD) 从单目深度估计器共享编码器特征以生成前景图；如上所述 DSS。
• 两种流水线在保持或提升检测精度的同时将密集 PseudoLiDAR 大约减少 95%。
• Detector: PointRCNN 用作 3D 检 detector，以利用点空间处理。
• 评估使用 KITTI3D 的 AP|R40 指标，与最新文献进行对比。

实验结果

研究问题

• RQ1 在将 dense monocular PseudoLiDAR 在 3D 检测前进行稀疏化，是否能提升检测准确性并降低计算量？
• RQ2 无监督与有监督稀疏化策略在性能和实用性方面有何差异？
• RQ3 PseudoLiDAR 密度对 3D 检测器的影响如何，基于距离的采样对小/远距离物体有何影响？
• RQ4 单目深度先验在不增加额外大模型的情况下，在多大程度上可提升 3D 目标检测？

主要发现

• 无监督稀疏化和有监督稀疏化在 KITTI3D Car 验证集上均优于原始 PseudoLiDAR 基线。
• 有监督方法在 Car 与 Pedestrian 分类的 KITTI 排行榜上表现最佳。
• Sparse Refinement 降低背景点密度并解决了因 PseudoLiDAR 过密而引发的许多误检。
• 在 KITTI3D 测试集上，RefinedMPL 实现了 Car 与 Pedestrian 的 SOTA 结果，对 Pedestrian 的相对提升达到 54%。
• Depth-shared features (DSD) 在不产生显著计算开销的情况下提供具有竞争力的 2D 前景线索。