[论文解读] AD-PT: Autonomous Driving Pre-Training with Large-scale Point Cloud Dataset

Jiakang Yuan, Bo Zhang+5 more|arXiv (Cornell University)|Jun 1, 2023

Advanced Neural Network Applications被引用 7

一句话总结

该论文提出 AD-PT，一种新颖的自动驾驶预训练范式，利用大规模、多样化的点云数据集（ONCE），结合少量标注数据与海量未标注数据，学习统一且可泛化的表征。通过结合基于多样性的数据增强、未知感知实例学习与一致性正则化，AD-PT 在多个 3D 检测基准（Waymo、nuScenes、KITTI）和主干网络（PV-RCNN++、SECOND、CenterPoint、PointPillar、PointRCNN）上均实现了最先进性能提升，展现出强大的迁移能力与可扩展性。

ABSTRACT

It is a long-term vision for Autonomous Driving (AD) community that the perception models can learn from a large-scale point cloud dataset, to obtain unified representations that can achieve promising results on different tasks or benchmarks. Previous works mainly focus on the self-supervised pre-training pipeline, meaning that they perform the pre-training and fine-tuning on the same benchmark, which is difficult to attain the performance scalability and cross-dataset application for the pre-training checkpoint. In this paper, for the first time, we are committed to building a large-scale pre-training point-cloud dataset with diverse data distribution, and meanwhile learning generalizable representations from such a diverse pre-training dataset. We formulate the point-cloud pre-training task as a semi-supervised problem, which leverages the few-shot labeled and massive unlabeled point-cloud data to generate the unified backbone representations that can be directly applied to many baseline models and benchmarks, decoupling the AD-related pre-training process and downstream fine-tuning task. During the period of backbone pre-training, by enhancing the scene- and instance-level distribution diversity and exploiting the backbone's ability to learn from unknown instances, we achieve significant performance gains on a series of downstream perception benchmarks including Waymo, nuScenes, and KITTI, under different baseline models like PV-RCNN++, SECOND, CenterPoint.

研究动机与目标

• 为解决自动驾驶感知中缺乏可扩展、可泛化的预训练方法的问题，突破单一数据集自监督预训练的局限。
• 构建一个统一的大规模点云数据集，涵盖多样化的场景与实例级分布，以提升模型泛化能力。
• 开发一种将主干网络学习与下游微调解耦的预训练方法，实现向多种基准与模型的迁移。
• 缓解预训练与下游数据集之间在分类体系与语义分布上的偏移所导致的性能下降。
• 通过未知感知实例学习与一致性正则化，增强对罕见或未见类别（如行人、自行车骑行者）的特征学习。

提出的方法

• 使用 ONCE 构建统一的预训练数据集，整合约 0.5% 的标注数据与海量未标注的 LiDAR 点云，涵盖多样化的传感器与物体分布。
• 采用基于类别的伪标签策略，结合多个模型生成伪标签，并通过 MeanTeacher 方法进行半监督优化，以提升伪标签准确性。
• 引入点到光束回放重采样与物体重缩放技术，以多样化场景与区域级数据分布，提升模型鲁棒性。
• 设计未知感知实例学习（UIL）头，激活可能对下游任务至关重要的背景区域，这些区域在预训练中常被低估。
• 实施一致性损失，对齐来自不同增强视图的表征，提升特征鲁棒性与泛化能力。
• 通过在统一数据集上训练通用主干网络，将预训练与微调过程解耦，从而可直接迁移至多种下游模型与基准。

实验结果

研究问题

• RQ1 与单一数据集自监督预训练相比，大规模、多样化的点云数据集是否能实现更优的自动驾驶感知泛化能力？
• RQ2 如何使预训练表征对预训练与下游数据集之间的语义与分类体系分布偏移具备鲁棒性？
• RQ3 未知感知实例学习在多大程度上能提升对行人、自行车骑行者等罕见或难检测类别检测性能？
• RQ4 在不同增强视图之间实施一致性正则化，是否能增强预训练特征的鲁棒性与可迁移性？
• RQ5 所提出的 AD-PT 框架是否能在多种 3D 检测主干网络与多个基准上实现一致的性能增益？

主要发现

• 在 Waymo 上，使用预训练主干初始化时，AD-PT 达到 68.33 / 65.69 mAP（L2 AP/APH），相比基线提升 0.56 mAP。
• 在 nuScenes 上，mAP 从 43.11 提升至 44.99，NDS 从 52.41 提升至 52.99，表明在所有类别上均实现稳定增益。
• 引入未知感知实例学习（UIL）头与一致性损失（CL）后，Waymo 上 mAP 提升 1.88 个百分点，nuScenes 上 NDS 提升 0.81 个百分点。
• 性能增益在行人与自行车骑行者类别上最为显著，表明对困难、罕见或类似背景的实例检测能力得到增强。
• 该方法在主干网络架构间具有良好泛化性：在 KITTI 与 Waymo 基准上，PointPillar（20% 数据）mAP 提升 3.45，PointRCNN（20% 数据）mAP 提升 2.07。
• 将预训练数据量从约 10k 扩增至约 500k 样本后，Waymo L2 AP 提升 1.27 个百分点，证实 AD-PT 范式的可扩展性。