[논문 리뷰] Scalability in Perception for Autonomous Driving: An Open Dataset Benchmark

Pei Sun, Henrik Kretzschmar외 21명|arXiv (Cornell University)|2019. 12. 10.

Video Surveillance and Tracking Methods참고 문헌 16인용 수 21

한 줄 요약

이 논문은 도시 및 근교 환경에서 20초씩 이어지는 1,150개의 동기화되고 校정된 라이다 및 카메라 영상으로 구성된 대규모, 다양한, 고품질의 자율주행 데이터셋을 소개한다. 이 데이터셋은 기존의 카메라+라이다 데이터셋보다 15배 더 다양하며, 일관된 추적 ID를 가진 철저한 2D 및 3D 경계상자 주석을 제공하고, 2D/3D 검출 및 추적에 대한 강력한 베이스라인을 제공한다. 또한 데이터셋 크기와 이질적 지리적 환경에서의 일반화 효과에 대한 경험적 분석을 수행한다.

ABSTRACT

The research community has increasing interest in autonomous driving research, despite the resource intensity of obtaining representative real world data. Existing self-driving datasets are limited in the scale and variation of the environments they capture, even though generalization within and between operating regions is crucial to the overall viability of the technology. In an effort to help align the research community's contributions with real-world self-driving problems, we introduce a new large scale, high quality, diverse dataset. Our new dataset consists of 1150 scenes that each span 20 seconds, consisting of well synchronized and calibrated high quality LiDAR and camera data captured across a range of urban and suburban geographies. It is 15x more diverse than the largest camera+LiDAR dataset available based on our proposed diversity metric. We exhaustively annotated this data with 2D (camera image) and 3D (LiDAR) bounding boxes, with consistent identifiers across frames. Finally, we provide strong baselines for 2D as well as 3D detection and tracking tasks. We further study the effects of dataset size and generalization across geographies on 3D detection methods. Find data, code and more up-to-date information at this http URL.

연구 동기 및 목표

• 자율주행 인식 연구를 위한 대규모, 다양한, 잘 주석 처리된 데이터셋의 부족을 해결하기 위해.
• 넓은 환경적 다양성을 제공함으로써 도시 및 근교 지역 간의 다양한 지리적 환경에서 모델의 일반화 성능을 향상시키기 위해.
• 일관되고 고품질의 주석을 통해 2D 및 3D 객체 검출 및 추적 방법의 견고한 벤치마킹을 지원하기 위해.
• 데이터셋 크기와 이질적 지리적 일반화가 3D 검출 성능에 미치는 영향을 경험적으로 연구할 수 있도록 하기 위해.

제안 방법

• 고해상도 라이다와 校정된 카메라를 장착한 차량을 이용해 다양한 도시 및 근교 환경에서 데이터셋을 수집하였다.
• 각 영상 세트는 정밀한 校정이 이루어진 20초 분량의 동기화되고 시간이 일치하는 라이다 및 카메라 데이터로 구성되어 있다.
• 모든 객체에 대해 철저한 2D 및 3D 경계상자 주석을 생성하였으며, 추적을 위해 프레임 간 일관된 식별자가 유지되었다.
• 새로운 다양성 측정 지표를 도입하여 데이터셋의 다양성을 정량적으로 비교하였으며, 새로운 데이터셋이 기존의 가장 큰 카메라+라이다 데이터셋보다 15배 더 다양하다는 것을 입증하였다.
• 새로운 데이터셋을 기반으로 2D 및 3D 검출 및 다중 객체 추적에 대한 강력한 베이스라인을 수립하였다.
• 절단 실험을 통해 학습 데이터 크기와 이질적 지리적 일반화가 3D 검출 모델에 미치는 영향을 평가하였다.

실험 결과

연구 질문

• RQ1 자율주행에서 3D 객체 검출 모델의 성능에 있어 데이터셋 크기를 증가시키면 어떤 영향을 미치는가?
• RQ2 다양한 지리적 지역에서 학습한 모델이 단일 지역에서 학습한 모델보다 얼마나 더 잘 일반화되는가?
• RQ3 정의된 측정 지표를 사용하여 제안된 데이터셋의 다양성이 기존의 대규모 데이터셋과 얼마나 정량적으로 비교되는가?
• RQ4 새로운 데이터셋에서 2D 및 3D 검출 및 추적 작업에 대해 강력한 베이스라인을 사용할 경우 기대할 수 있는 성능 향상은 어느 정도인가?
• RQ5 이질적 지리적 데이터 분포는 3D 검출 모델의 견고성에 어떤 영향을 미치는가?

주요 결과

• 제안된 데이터셋은 새로 도입된 다양성 측정 지표에 따라 기존의 가장 큰 카메라+라이다 데이터셋보다 15배 더 다양하다.
• 이 데이터셋은 1,150개의 고품질, 동기화되고 校정된 라이다 및 카메라 영상 세트를 포함하며, 각 세트는 20초 간 지속된다.
• 모든 세트에서 일관된 추적 ID를 가진 철저한 2D 및 3D 경계상자 주석이 성공적으로 생성되었다.
• 새로운 데이터셋에서 2D 및 3D 검출 및 다중 객체 추적 작업에 대해 강력한 베이스라인이 수립되었다.
• 절단 실험 결과, 더 큰 학습 데이터셋과 이질적 지리적 데이터가 3D 검출의 일반화 성능을 향상시킨다.
• 결과적으로 데이터셋의 다양성과 크기가 증가할수록 모델 성능이 크게 향상되며, 특히 이질적 지리적 환경에서 그 효과가 두드러진다.