[论文解读] 3D Object Detection with a Self-supervised Lidar Scene Flow Backbone

Ekim Yurtsever, Emeç Erçelik+7 more|arXiv (Cornell University)|May 2, 2022

Advanced Optical Sensing Technologies被引用 5

一句话总结

本文提出一种自监督的3D目标检测框架，通过循环一致性场景光流估计对激光雷达点云主干网络进行预训练，随后使用有监督检测头进行微调。该方法通过利用从无标注序列中学到的运动感知表征，在低数据量场景下显著提升了3D检测性能。

ABSTRACT

State-of-the-art lidar-based 3D object detection methods rely on supervised learning and large labeled datasets. However, annotating lidar data is resource-consuming, and depending only on supervised learning limits the applicability of trained models. Self-supervised training strategies can alleviate these issues by learning a general point cloud backbone model for downstream 3D vision tasks. Against this backdrop, we show the relationship between self-supervised multi-frame flow representations and single-frame 3D detection hypotheses. Our main contribution leverages learned flow and motion representations and combines a self-supervised backbone with a supervised 3D detection head. First, a self-supervised scene flow estimation model is trained with cycle consistency. Then, the point cloud encoder of this model is used as the backbone of a single-frame 3D object detection head model. This second 3D object detection model learns to utilize motion representations to distinguish dynamic objects exhibiting different movement patterns. Experiments on KITTI and nuScenes benchmarks show that the proposed self-supervised pre-training increases 3D detection performance significantly. https://github.com/emecercelik/ssl-3d-detection.git

研究动机与目标

• 通过在无标注激光雷达序列上进行自监督预训练，解决有监督3D目标检测中的数据效率瓶颈。
• 探索自监督场景光流表征在提升3D检测泛化能力和鲁棒性方面的有效性。
• 证明从场景光流学习中获得的运动感知特征可增强检测性能，尤其在标注数据稀缺时。
• 研究通过循环一致性损失和检测损失联合训练的有效性，以改善主干特征学习。
• 实现自监督主干网络向多种3D检测器（如Point-GNN、PointPillars、CenterPoint）的可迁移性，且无需修改网络架构。

提出的方法

• 使用未配对的激光雷达序列，通过循环一致性损失训练基于FlowNet3D的场景光流网络，以在无标注条件下学习运动表征。
• 从预训练的场景光流模型中提取点云编码器，作为通用的3D检测主干网络。
• 在少量标注数据子集上，使用有监督3D检测头（如Point-GNN、CenterPoint）对主干网络进行微调。
• 采用交替训练策略：在优化场景光流损失和检测损失之间交替进行，以联合提升运动感知能力和检测精度。
• 通过稀疏场景光流估计验证主干网络是否学习到了有意义的点级运动模式。
• 对FlowNet3D架构进行改进，使其同时支持场景光流任务和检测头的兼容性，主要通过修改特征提取器实现。

实验结果

研究问题

• RQ1 自监督场景光流预训练是否能提升在KITTI和nuScenes等标准基准上的3D目标检测性能？
• RQ2 自监督场景光流中学习到的运动表征如何增强检测的泛化能力，特别是在标注数据有限时？
• RQ3 在结合循环一致性损失和检测损失时，单阶段训练与交替训练策略中，哪种能获得更好的检测性能？
• RQ4 所学习的运动表征在多大程度上提升了对具有独特运动模式的动态物体的检测能力？
• RQ5 该自监督主干网络是否能有效迁移到多种3D检测架构（如Point-GNN、PointPillars、CenterPoint）而无需重新训练？

主要发现

• 当仅使用1%的训练数据时，所提自监督预训练方法在KITTI验证集上将3D检测mAP提升最高达3.13%。
• 在nuScenes数据集上，该方法在10%标注数据下达到41.29%的mAP和51.35%的NDS，优于PointContrast和GCC3D基线方法。
• 在KITTI数据集上，Point-GNN的硬难度AP因交替训练策略提升了2.32%，表明其运动感知特征学习能力得到增强。
• 该自监督主干网络在KITTI和nuScenes数据集上，对多个检测器（Point-GNN、PointPillars、CenterPoint、SSN）均一致提升了检测性能。
• 可视化结果证实，场景光流网络能准确地在帧间传播稀疏点，验证了主干网络学习到了有意义的运动模式。
• 即使在极少量监督下，该方法仍实现了显著的性能提升，展现出强大的数据效率和泛化能力。