[논문 리뷰] AD-PT: Autonomous Driving Pre-Training with Large-scale Point Cloud Dataset

Jiakang Yuan, Bo Zhang외 5명|arXiv (Cornell University)|2023. 06. 01.

Advanced Neural Network Applications인용 수 7

한 줄 요약

이 논문은 대규모이고 다양한 포인트 클라우드 데이터셋(ONCE)을 활용하여 소수의 레이블이 부여된 데이터와 막대한 수의 레이블이 없는 데이터를 통해 통합적이고 일반화 가능한 표현을 학습하는 새로운 자율주행 프리트레이닝 프레임워크 AD-PT를 소개한다. 다양성 기반 데이터 증강, 알려지지 않은 항목을 고려한 인스턴스 학습, 일관성 정규화를 조합함으로써 AD-PT는 다양한 3D 검출 벤치마크(Waymo, nuScenes, KITTI)와 백본(PV-RCNN++, SECOND, CenterPoint, PointPillar, PointRCNN)에서 최신 기술 수준의 성능 향상을 달성하며 강력한 전이 가능성과 확장성을 입증한다.

ABSTRACT

It is a long-term vision for Autonomous Driving (AD) community that the perception models can learn from a large-scale point cloud dataset, to obtain unified representations that can achieve promising results on different tasks or benchmarks. Previous works mainly focus on the self-supervised pre-training pipeline, meaning that they perform the pre-training and fine-tuning on the same benchmark, which is difficult to attain the performance scalability and cross-dataset application for the pre-training checkpoint. In this paper, for the first time, we are committed to building a large-scale pre-training point-cloud dataset with diverse data distribution, and meanwhile learning generalizable representations from such a diverse pre-training dataset. We formulate the point-cloud pre-training task as a semi-supervised problem, which leverages the few-shot labeled and massive unlabeled point-cloud data to generate the unified backbone representations that can be directly applied to many baseline models and benchmarks, decoupling the AD-related pre-training process and downstream fine-tuning task. During the period of backbone pre-training, by enhancing the scene- and instance-level distribution diversity and exploiting the backbone's ability to learn from unknown instances, we achieve significant performance gains on a series of downstream perception benchmarks including Waymo, nuScenes, and KITTI, under different baseline models like PV-RCNN++, SECOND, CenterPoint.

연구 동기 및 목표

• 단일 데이터셋 기반의 자기지도 학습 프리트레이닝을 넘어서, 확장 가능하고 일반화 가능한 자율주행 인식을 위한 프리트레이닝의 부족을 해결하기 위해.
• 다양한 시나리오 및 인스턴스 수준의 분포를 갖춘 통합된 대규모 포인트 클라우드 데이터셋을 구축하여 모델의 일반화 능력을 향상시키기 위해.
• 백본 학습과 최종 튜닝을 분리하는 프리트레이닝 방법을 개발하여 다양한 벤치마크 및 모델로의 전이를 가능하게 하기 위해.
• 프리트레이닝 데이터셋과 최종 튜닝 데이터셋 간의 분류 체계 및 의미적 분포 이질성으로 인한 성능 저하를 완화하기 위해.
• 알 수 없는 카테고리(예: 보행자, 자전거 기사)에 대한 특징 학습을 향상시키기 위해 알려지지 않은 항목을 고려한 인스턴스 학습 및 일관성 정규화를 통해 어려운 카테고리의 검출 성능 향상.

제안 방법

• 다양한 센서 및 객체 분포를 갖춘 약 0.5%의 레이블이 부여된 데이터와 막대한 수의 레이블이 없는 LiDAR 포인트 클라우드를 포함하는 ONCE 데이터셋을 활용해 통합된 프리트레이닝 데이터셋을 구축한다.
• 다양한 모델을 활용한 클래스별 가짜 레이블링 전략을 적용한 후, MeanTeacher 기반의 준지도 학습 정밀도 향상 기법을 통해 가짜 레이블의 정확도를 향상시킨다.
• 장면 수준 및 영역 수준의 데이터 분포 다양성을 높이기 위해 포인트 투빔 재생영역 재샘플링 및 객체 재스케일링 기법을 도입하여 강건성을 향상시킨다.
• 프리트레이닝에서 부족하게 다뤄지는 배경 영역이 최종 작업에서 중요한 경우가 많기 때문에, 이를 활성화하기 위해 알려지지 않은 항목을 고려한 인스턴스 학습(UIL) 헤드를 설계한다.
• 다양한 증강된 시각에서의 표현을 일치시키기 위해 일관성 손실를 구현함으로써 특징의 강건성과 일반화 능력을 향상시킨다.
• 백본 학습과 최종 튜닝을 분리하기 위해 통합된 데이터셋에서 일반적인 백본을 학습시켜, 다양한 최종 모델 및 벤치마크로 직접 전이가 가능하도록 한다.

실험 결과

연구 질문

• RQ1 단일 데이터셋 자기지도 학습 프리트레이닝에 비해 대규모이고 다양한 포인트 클라우드 데이터셋이 자율주행 인식의 일반화 능력 향상에 기여할 수 있는가?
• RQ2 프리트레이닝과 최종 튜닝 데이터셋 간의 의미적 및 분류 체계 분포 이질성에 대해 어떻게 표현을 강건하게 만들 수 있는가?
• RQ3 알려지지 않은 항목을 고려한 인스턴스 학습이 보행자나 자전거 기사처럼 드문 또는 검출이 어려운 카테고리의 검출 성능 향상에 얼마나 기여하는가?
• RQ4 증강된 시각 간의 일관성 정규화가 프리트레이닝된 특징의 강건성과 전이 가능성 향상에 기여하는가?
• RQ5 제안된 AD-PT 프레임워크는 다양한 3D 검출 백본 및 여러 벤치마크에서 일관된 성능 향상을 달성할 수 있는가?

주요 결과

• 프리트레이닝된 백본으로 초기화했을 때 AD-PT는 Waymo(L2 AP/APH)에서 68.33 / 65.69 mAP를 기록하며 베이스라인 대비 0.56 mAP 향상.
• nuScenes에서는 mAP가 43.11에서 44.99로 향상되고 NDS는 52.41에서 52.99로 상승하여 모든 카테고리에서 일관된 성능 향상을 보였다.
• 알려지지 않은 항목을 고려한 인스턴스 학습(UIL) 헤드와 일관성 손실(CL)을 추가함으로써 Waymo에서 mAP가 1.88점 향상되었고, nuScenes에서는 NDS가 0.81점 향상되었다.
• 성능 향상이 보행자 및 자전거 기사 카테고리에서 가장 두드러지게 나타나, 어려운, 드문 또는 배경 유사 인스턴스의 검출 능력 향상이 확인되었다.
• 백본 아키텍처 간 일반화 성능이 우수하여, KITTI 및 Waymo 벤치마크에서 PointPillar(20% 데이터)에서 mAP가 3.45점 향상되고 PointRCNN(20% 데이터)에서 2.07점 향상되었다.
• ~10,000개에서 ~500,000개 샘플로 프리트레이닝 데이터를 확장함으로써 Waymo L2 AP가 1.27점 향상되어 AD-PT 프레임워크의 확장 가능성 확인.