[논문 리뷰] Open-sourced Data Ecosystem in Autonomous Driving: the Present and Future

Hongyang Li, Yang Li외 17명|arXiv (Cornell University)|2023. 12. 06.

Advanced Neural Network Applications인용 수 5

한 줄 요약

이 논문은 오픈소스 자율주행 데이터셋에 대한 종합적인 서베이를 제시하며, 센서 복잡도, 데이터 규모, 작업 범위 기반으로 두 세대로 분류한다. 기초 모델, 모듈러 설계, 확장 가능한 데이터 엔진을 활용한 제3세대 데이터셋의 비전을 제안하여 희귀한 장면(롱테일 시나리오)을 해결하고 모델 일반화 능력을 향상시키며, 데이터 생태계 분석 및 자율주행 시스템을 위한 향후 연구 방향에서 주요 기여를 한다.

ABSTRACT

With the continuous maturation and application of autonomous driving technology, a systematic examination of open-source autonomous driving datasets becomes instrumental in fostering the robust evolution of the industry ecosystem. Current autonomous driving datasets can broadly be categorized into two generations. The first-generation autonomous driving datasets are characterized by relatively simpler sensor modalities, smaller data scale, and is limited to perception-level tasks. KITTI, introduced in 2012, serves as a prominent representative of this initial wave. In contrast, the second-generation datasets exhibit heightened complexity in sensor modalities, greater data scale and diversity, and an expansion of tasks from perception to encompass prediction and control. Leading examples of the second generation include nuScenes and Waymo, introduced around 2019. This comprehensive review, conducted in collaboration with esteemed colleagues from both academia and industry, systematically assesses over seventy open-source autonomous driving datasets from domestic and international sources. It offers insights into various aspects, such as the principles underlying the creation of high-quality datasets, the pivotal role of data engine systems, and the utilization of generative foundation models to facilitate scalable data generation. Furthermore, this review undertakes an exhaustive analysis and discourse regarding the characteristics and data scales that future third-generation autonomous driving datasets should possess. It also delves into the scientific and technical challenges that warrant resolution. These endeavors are pivotal in advancing autonomous innovation and fostering technological enhancement in critical domains. For further details, please refer to https://github.com/OpenDriveLab/DriveAGI.

연구 동기 및 목표

• 자율주행 데이터셋의 현재 상태를 인식, 지ap, 계획 작업 측면에서 체계적으로 분석하기 위해.
• 기존 데이터셋의 한계—특히 희귀한 장면(롱테일 주행 시나리오)과 데이터 품질 제어를 다루는 데 어려움이 있음—을 규명하여 차세대 데이터 시스템의 필요성을 드러내기 위해.
• 기초 모델을 활용한 자동 레이블링, 확장 가능한 데이터 수집, 시뮬레이션을 가능하게 하는 데이터 엔진 시스템의 역할을 탐색하기 위해.
• 제3세대 자율주행 데이터셋이 가져야 할 핵심 특성—모듈러 설계, 다중 모odal 센서 통합, 추론 인지 데이터—를 정의하기 위해.
• 향후 연구 및 산업 개발을 이끌기 위해, 차세대 데이터 생태계의 주요 기술적·과학적 과제를 제시하기 위해.

제안 방법

• 센서 모odal리티, 데이터 규모, 시나리오 다양성, 지원 작업 기반으로 70개 이상의 오픈소스 자율주행 데이터셋을 두 세대로 분류하였다.
• 주요 기업 및 연구소의 데이터 엔진 시스템을 분석하여, 레이블링, 품질 제어, 시뮬레이션, 기초 모델 기반 자동 레이블링에 중점을 두었다.
• 기초 모델이 다양한 에이전트, 도로 표지판, 기상 조건을 갖춘 고해상도 가상 교통 환경을 생성하는 데 기여하는 방식을 평가하였다.
• 인간 노동을 줄이고 확장성을 향상시키기 위해 데이터 수집, 어노테이션, 시뮬레이션, 모델 피팅을 통합한 모듈러이고 종단 간(end-to-end) 데이터 파이프라인을 제안하였다.
• 자율주행 시스템의 더 복잡한 의사결정을 지원하기 위해 자연어 및 추론 능력을 데이터셋에 통합하는 방식을 논의하였다.
• 대규모 기초 모델, 고정밀 시뮬레이션, 장기 테일 시나리오 커버리지에 중점을 두어 제3세대 데이터셋의 비전을 제시하였다.

실험 결과

연구 질문

• RQ1 센서 다양성, 데이터 규모, 작업 범위 측면에서 제1세대와 제2세대 자율주행 데이터셋 간의 주요 차이점은 무엇인가?
• RQ2 현대의 데이터 엔진 시스템은 자율주행 데이터 파이프라인에서 데이터 품질, 레이블링 효율성, 확장성 향상에 어떻게 기여하는가?
• RQ3 기초 모델을 활용해 자율주행을 위한 고품질, 다양성 있고 확장 가능한 합성 데이터를 생성하는 방법은 무엇인가?
• RQ4 강력하고 일반화 능력이 뛰어나며 안전한 자율주행 시스템을 지원하기 위해 제3세대 자율주행 데이터셋이 가져야 할 핵심 특성은 무엇인가?
• RQ5 제한된 실제 데이터가 있는 장기 테일 주행 시나리오를 효과적으로 다룰 수 있도록 데이터 생태계는 어떻게 설계되어야 하는가?

주요 결과

• KITTI(2012)와 같은 제1세대 데이터셋은 전방 카메라와 LiDAR에 국한되어 인식 수준의 작업을 수행했지만, nuScenes와 Waymo(2019)와 같은 제2세대 데이터셋은 다중 센서 융합, 고정밀 지도, 인식, 예측, 계획에 이르기까지 다양한 작업을 지원하였다.
• 자율주행 모델의 성능은 일정한 데이터량 이상에서는 정체되는 경향을 보이며, 이는 데이터 양만으로는 충분하지 않다는 것을 시사한다. 시나리오 다양성과 장기 테일 시나리오 커버리지가 더 중요하다.
• 기초 모델은 다양한 에이전트, 도로 표지판, 기상 조건을 갖춘 고해상도 가상 교통 환경을 확장 가능하고 고정밀하게 생성함으로써 고비용의 실제 데이터 수집에 대한 의존도를 감소시킨다.
• 자동 레이블링, 시뮬레이션, 품질 제어를 통합한 데이터 엔진 시스템은 어노테이션 비용을 크게 줄이고 데이터 일관성과 확장성을 향상시킨다.
• 제3세대 데이터셋은 대규모 기초 모델 통합, 모듈러 및 종단 간 시스템 개발 지원, 추론 인지 어노테이션 포함이 필수적이다. 이는 모델 일반화 능력을 향상시킨다.
• 자연어 및 논리적 추론 능력을 데이터셋에 통합하는 것은 자율주행 시스템이 복잡한 교통 시나리오를 이해하고 해석 가능한 의사결정을 내릴 수 있도록 하는 데 필수적이다.