[논문 리뷰] A Survey on Autonomous Driving Datasets: Statistics, Annotation Quality, and a Future Outlook

Mingyu Liu, Ekim Yurtsever외 6명|arXiv (Cornell University)|2024. 01. 02.

Data Stream Mining Techniques인용 수 4

한 줄 요약

이 논문은 200개 이상의 자율주행 데이터셋에 대한 종합적인 서베이를 제시하며, 센서 모odal리티, 데이터 통계, 주석 품질, 작업 다양성 등을 분석한다. 영향도 점수 지표를 도입하여 데이터셋의 영향력을 평가하고, 향후 데이터셋의 발전을 이끄는 추세로 엔드 투 엔드 주행, 비전-언어 모델링, VLM 기반 데이터 생성을 규명한다.

ABSTRACT

Autonomous driving has rapidly developed and shown promising performance due to recent advances in hardware and deep learning techniques. High-quality datasets are fundamental for developing reliable autonomous driving algorithms. Previous dataset surveys either focused on a limited number or lacked detailed investigation of dataset characteristics. To this end, we present an exhaustive study of 265 autonomous driving datasets from multiple perspectives, including sensor modalities, data size, tasks, and contextual conditions. We introduce a novel metric to evaluate the impact of datasets, which can also be a guide for creating new datasets. Besides, we analyze the annotation processes, existing labeling tools, and the annotation quality of datasets, showing the importance of establishing a standard annotation pipeline. On the other hand, we thoroughly analyze the impact of geographical and adversarial environmental conditions on the performance of autonomous driving systems. Moreover, we exhibit the data distribution of several vital datasets and discuss their pros and cons accordingly. Finally, we discuss the current challenges and the development trend of the future autonomous driving datasets.

연구 동기 및 목표

• 센서 모달리티, 데이터 크기, 작업, 맥락적 조건을 기준으로 200개 이상의 자율주행 데이터셋에 대한 종합적이고 체계적인 분석을 제공하기 위해.
• 연구 공동체 내에서 인지 모델링 데이터셋의 영향력과 중요성을 평가하기 위한 새로운 영향도 점수 지표를 도입하기 위해.
• 주요 데이터셋 간 주석 방법론과 품질 요인을 분석하여 핵심 과제와 최선의 실천 방안을 규명하기 위해.
• 지리적 위치, 시간, 센서 구성에 따른 데이터 분포 패턴을 조사하여 데이터셋 선택 및 개발에 통찰을 제공하기 위해.
• 향후 자율주행 데이터셋의 주요 추세를 예측하기 위해, 엔드 투 엔드 학습, 비전-언어 통합, VLM 기반 데이터 생성을 포함한다.

제안 방법

• 2009년부터 2023년까지 204개의 공개된 자율주행 데이터셋을 수집하고 분석하였다. 이는 실제 세계, 합성, 하이브리드 데이터 소스를 포함한다.
• 인용 빈도, 데이터셋 크기, 작업 커버리지, 주석 품질을 기반으로 한 영향도 점수 지표를 도입하여 데이터셋 영향력을 순위 매겼다.
• 인식, 예측, 계획, 제어 작업을 포함한 12개의 고영향도 데이터셋에 대해 상세한 비교 분석을 수행하였다.
• nuScenes, Waymo, KITTI 등의 데이터셋을 대상으로 레이블 일관성, 경계 상자 밀도, 의미 정밀도를 평가하는 프레임워크를 통해 주석 품질을 평가하였다.
• 지역적 및 시간적 분포를 시각화하여 데이터 편향과 데이터 수집의 진화 추세를 파악하였다.
• 최신 데이터셋 추세로는 엔드 투 엔드 주행, 다중모달 언어-비전 데이터, VLM를 통한 합성 데이터 생성을 규명하였다.

실험 결과

연구 질문

• RQ1 200개 이상의 서베이된 자율주행 데이터셋에서 지배적인 센서 모달리티, 데이터 크기, 작업 분포는 무엇인가?
• RQ2 주요 데이터셋 간 주석 품질은 어떻게 달라지며, 가장 크게 영향을 미치는 요인은 무엇인가?
• RQ3 각 데이터셋이 연구 공동체에 미친 영향은 무엇이며, 이를 정량적으로 측정할 수 있는가?
• RQ4 지역, 시간, 센서 구성에 따라 데이터 분포는 어떻게 변화하며, 어떤 편향을 드러내는가?
• RQ5 다음 세대 자율주행 데이터셋을 이끄는 주요 추세와 과제는 무엇인가?

주요 결과

• 영향도 점수 지표는 nuScenes, Waymo, KITTI와 같은 고영향도 데이터셋을 성공적으로 규명하였으며, 종합적인 주석과 넓은 작업 커버리지로 높은 순위를 차지하였다.
• 주석 품질은 상당한 차이를 보였다: nuScenes와 Waymo는 뛰어난 레이블 일관성과 3D 경계 상자 정밀도를 보였지만, 일부 작은 데이터셋은 높은 노이즈와 일관성 부족을 보였다.
• 실제 세계 데이터셋이 인식 작업에서 지배적이지만, 합성 데이터셋은 데이터 증강 및 도메인 적응을 위해 빠르게 사용 증가 중이다.
• 엔드 투 엔드 주행 데이터셋은 여전히 흐리며, 11개의 데이터셋만 확인되어 통합 주행 에이전트의 훈련 및 평가에 중요한 격차가 있음을 시사한다.
• DriveLM-nuScenes와 LiDAR-text와 같은 비전-언어 데이터셋이 등장하여 시각 질문 응답 및 3D 캡션과 같은 다중모달 작업을 지원하고 있다.
• DriveGAN과 DriveDreamer에서 보여진 바와 같이, VLM 기반의 데이터 생성은 최소한의 인간 주석으로 고해상도이고 다양한 합성 데이터를 생성할 잠재력을 보이고 있다.