[论文解读] SPG: Unsupervised Domain Adaptation for 3D Object Detection via Semantic Point Generation

Qiangeng Xu, Yin Zhou+3 more|arXiv (Cornell University)|Aug 15, 2021

Advanced Neural Network Applications参考文献 71被引用 11

一句话总结

本文提出语义点生成（SPG），一种用于3D目标检测的新型无监督域自适应方法，通过生成语义点来恢复因天气导致的点云缺失而造成的前景物体缺失部分。SPG通过在原始点云中加入生成的语义点，提升了跨域检测性能，在KITTI数据集上达到最先进结果，并在Waymo的域自适应基准上实现显著的AP提升，且推理开销极低。

ABSTRACT

In autonomous driving, a LiDAR-based object detector should perform reliably at different geographic locations and under various weather conditions. While recent 3D detection research focuses on improving performance within a single domain, our study reveals that the performance of modern detectors can drop drastically cross-domain. In this paper, we investigate unsupervised domain adaptation (UDA) for LiDAR-based 3D object detection. On the Waymo Domain Adaptation dataset, we identify the deteriorating point cloud quality as the root cause of the performance drop. To address this issue, we present Semantic Point Generation (SPG), a general approach to enhance the reliability of LiDAR detectors against domain shifts. Specifically, SPG generates semantic points at the predicted foreground regions and faithfully recovers missing parts of the foreground objects, which are caused by phenomena such as occlusions, low reflectance or weather interference. By merging the semantic points with the original points, we obtain an augmented point cloud, which can be directly consumed by modern LiDAR-based detectors. To validate the wide applicability of SPG, we experiment with two representative detectors, PointPillars and PV-RCNN. On the UDA task, SPG significantly improves both detectors across all object categories of interest and at all difficulty levels. SPG can also benefit object detection in the original domain. On the Waymo Open Dataset and KITTI, SPG improves 3D detection results of these two methods across all categories. Combined with PV-RCNN, SPG achieves state-of-the-art 3D detection results on KITTI.

研究动机与目标

• 为解决在雨天等恶劣天气条件下，3D目标检测器在跨域部署时性能严重下降的问题。
• 开发一种通用、即插即用的无监督域自适应（UDA）方法，无需目标域标注。
• 提升在环境条件差异显著的真实自动驾驶场景中检测的可靠性。
• 实现在无需从零开始重新训练检测器的前提下，有效适应新的地理和天气条件。

提出的方法

• SPG利用预训练检测器识别输入点云中的前景区域，并在这些区域内生成语义点以恢复缺失部分。
• 采用‘隐藏并预测’策略，掩蔽背景区域，将点生成聚焦于前景物体区域。
• 该方法使用学习得到的概率图确定点生成位置，置信度分数指导生成过程。
• SPG应用加权损失，鼓励在空的前景体素中生成点，以平衡完整性和保真度。
• 生成的语义点与原始点云合并，形成增强后的输入供给下游检测器。
• 该方法高效，仅增加0.39M参数，且在1080Ti GPU上延迟低于17ms。

实验结果

研究问题

• RQ1 在不同天气条件下跨域迁移时，3D目标检测器性能下降的主要原因是什么？
• RQ2 是否能够通过一种通用的无监督方法，在不使用任何目标域标注的情况下提升3D检测性能？
• RQ3 语义点生成在因LiDAR回波缺失而部分观测的3D物体中，恢复效果如何？
• RQ4 SPG在同时提升源域和目标域检测性能方面，效果能达到何种程度？
• RQ5 哪些超参数（如概率阈值和加权因子）对SPG性能影响最大？

主要发现

• 在Waymo域自适应基准上，使用PointPillars进行汽车检测时，SPG在easy、moderate和hard难度级别下分别将3D平均精度（AP）提升2.02%、2.97%和3.67%。
• 对于PV-RCNN的行人检测，SPG在目标域的easy、moderate和hard级别分别实现5.40%、5.13%和4.48%的AP增益。
• 在KITTI数据集上，SPG与PV-RCNN结合实现了最先进的3D检测性能，证明其在源域中的有效性。
• 消融实验证明，结合‘隐藏并预测’策略、语义区域扩展和前景置信度加权可实现相对于基线+6.91%的AP提升。
• 使用0.5的概率阈值进行点选择可获得最优性能，平衡前景恢复与背景噪声抑制。
• SPG仅增加0.39百万参数，且延迟低于17ms，适用于自动驾驶系统中的实时部署。