[论文解读] Demystifying Pseudo-LiDAR for Monocular 3D Object Detection.

Andrea Simonelli, Samuel Rota Bulò+3 more|arXiv (Cornell University)|Dec 10, 2020

Advanced Neural Network Applications参考文献 20被引用 6

一句话总结

本文揭示了基于伪激光雷达（Pseudo-LiDAR）的单目3D目标检测方法在KITTI3D验证集上存在显著的数据泄露问题，表明其报告的SOTA性能因训练集与验证集数据重叠而产生偏差。为恢复公平性，作者提出了一种3D置信度预测模块，使模型在无偏测试集上的性能最高提升+8%的3D AP，重新确立了Pseudo-LiDAR方法的竞争力。

ABSTRACT

Pseudo-LiDAR-based methods for monocular 3D object detection have generated large attention in the community due to performance gains showed on the KITTI3D benchmark dataset, in particular on the commonly reported validation split. This generated a distorted impression about the superiority of Pseudo-LiDAR approaches against methods working with RGB-images only. Our first contribution consists in rectifying this view by analysing and showing experimentally that the validation results published by Pseudo-LiDAR-based methods are substantially biased. The source of the bias resides in an overlap between the KITTI3D object detection validation set and the training/validation sets used to train depth predictors feeding Pseudo-LiDAR-based methods. Surprisingly, the bias remains also after geographically removing the overlap, revealing the presence of a more structured contamination. This leaves the test set as the only reliable mean of comparison, where published Pseudo-LiDAR-based methods do not excel. Our second contribution brings Pseudo-LiDAR-based methods back up in the ranking with the introduction of a 3D confidence prediction module. Thanks to the proposed architectural changes, our modified Pseudo-LiDAR-based methods exhibit extraordinary gains on the test scores (up to +8% 3D AP).

研究动机与目标

• 调查并揭示基于Pseudo-LiDAR的单目3D目标检测方法在KITTI3D基准上性能偏差的根源。
• 证明Pseudo-LiDAR方法在KITTI3D验证集上报告的SOTA性能因训练集与验证集数据重叠而受损。
• 识别并分析即使在移除地理重叠样本后仍持续存在的更结构化的污染模式。
• 提出一种新型3D置信度预测模块，以提升Pseudo-LiDAR在无偏测试集上的性能。
• 通过在测试集上实现SOTA结果，恢复Pseudo-LiDAR方法的可信度，实现公平比较。

提出的方法

• 系统分析了KITTI3D训练集/验证集与Pseudo-LiDAR评估所用验证集之间的数据重叠，识别出污染来源。
• 通过地理方式移除重叠样本，测试偏差是否被消除，发现除简单重叠外仍存在结构性污染。
• 提出一种集成到Pseudo-LiDAR流程中的3D置信度预测模块，以提升检测可靠性并减少误报。
• 修改Pseudo-LiDAR框架，为每个3D边界框预测置信度分数，并在推理阶段利用这些分数进行过滤或重新加权。
• 在官方KITTI3D测试集上重新评估修改后的模型，确保公平比较，避免任何数据泄露。
• 在无重叠数据上训练深度估计器，并用其生成伪点云用于3D检测，确保未来无数据泄露。

实验结果

研究问题

• RQ1 Pseudo-LiDAR方法在KITTI3D验证集上报告的SOTA性能因数据泄露而被高估到何种程度？
• RQ2 通过地理方式移除重叠样本后，Pseudo-LiDAR方法的性能偏差是否能被完全消除？
• RQ3 是否存在结构性或基于模式的污染机制，可解释超出简单数据重叠的持续偏差？
• RQ4 3D置信度预测模块是否能恢复Pseudo-LiDAR方法在无偏测试集上的竞争力？
• RQ5 在公平条件下于官方测试集上评估时，Pseudo-LiDAR方法的实际性能提升是多少？

主要发现

• Pseudo-LiDAR方法在KITTI3D验证集上报告的性能提升因训练集与验证集数据重叠而显著被夸大。
• 即使在移除地理重叠样本后，仍存在结构性污染模式，表明数据泄露的根源超出了简单的空间重叠。
• 在官方测试集上（无数据泄露），已发表的Pseudo-LiDAR方法并未超越其他仅使用RGB的方法。
• 所提出的3D置信度预测模块在3D平均精度上带来显著提升，使测试集性能最高提升+8%。
• 引入置信度模块后，Pseudo-LiDAR方法在KITTI3D测试集上重新夺回SOTA性能，恢复了其在公平评估中的可信度。
• 研究结果警示应谨慎解读基准测试结果，并呼吁未来3D感知研究中采用更严格的数据划分与验证协议。