[논문 리뷰] Scalability in Perception for Autonomous Driving: Waymo Open Dataset

Pei Sun, Henrik Kretzschmar외 23명|arXiv (Cornell University)|2019. 12. 10.

Video Surveillance and Tracking Methods참고 문헌 21인용 수 228

한 줄 요약

대규모 다중모달 Waymo Open Dataset을 도입하여 LiDAR와 카메라 데이터를 동기화하고, 광범위한 3D/2D 주석과 자율주행 인식의 확장성 및 지리적 일반화를 연구하기 위한 베이스라인을 제공한다.

ABSTRACT

The research community has increasing interest in autonomous driving research, despite the resource intensity of obtaining representative real world data. Existing self-driving datasets are limited in the scale and variation of the environments they capture, even though generalization within and between operating regions is crucial to the overall viability of the technology. In an effort to help align the research community's contributions with real-world self-driving problems, we introduce a new large scale, high quality, diverse dataset. Our new dataset consists of 1150 scenes that each span 20 seconds, consisting of well synchronized and calibrated high quality LiDAR and camera data captured across a range of urban and suburban geographies. It is 15x more diverse than the largest camera+LiDAR dataset available based on our proposed diversity metric. We exhaustively annotated this data with 2D (camera image) and 3D (LiDAR) bounding boxes, with consistent identifiers across frames. Finally, we provide strong baselines for 2D as well as 3D detection and tracking tasks. We further study the effects of dataset size and generalization across geographies on 3D detection methods. Find data, code and more up-to-date information at http://www.waymo.com/open.

연구 동기 및 목표

• 대규모이면서 다양한 다중모달 데이터셋을 공개하여 자율주행 인식의 확장성에 대한 연구를 고무하고 가능하게 한다.
• 탐지 및 추적 작업을 지원하기 위해 일관된 트래킹 ID를 갖춘 고품질의 포괄적으로 주석된 LiDAR 및 카메라 데이터를 제공한다.
• 데이터셋 크기와 지리적 도메인 간의 차이가 3D 인식 방법과 지리 간 일반화에 어떠한 영향을 미치는지 검토한다.

제안 방법

• 다수의 도시(도시/교외)에서 동기화된 LiDAR 및 카메라 데이터를 포함하는 대규모 다중모달 데이터셋을 구성하고 정밀한 보정 및 동기화 데이터를 제공한다.
• 프레임 간 일관된 트랙 ID를 갖춘 LiDAR용 3D 바운딩 박스와 카메라 이미지용 2D 박스를 주석화하여 트래킹을 지원한다.
• 3D 탐지용 APH(heading-aware AP)를 포함한 특화 지표와 MOT 기반 추적 지표를 갖춘 2D 및 3D 탐지/추적 벤치마크를 정의한다.
• 현대식 탐지기(3D LiDAR용 PointPillars, 2D용 Faster R-CNN) 및 탐지 기반 추적 프레임워크를 활용한 강력한 베이스라인을 구축하고 도시 간 도메인 격차 분석을 추가한다.
• 센서 융합 연구를 촉진하기 위한 데이터셋 분석 도구와 롤링 셔터 인식을 반영한 카메라-LiDAR 프로젝션 방법을 제공한다.

실험 결과

연구 질문

• RQ1 데이터셋 크기 증가가 3D LiDAR 기반 객체 탐지 및 헤딩 추정의 성능에 어떤 영향을 미치는가?
• RQ2 도메인 간 차이(예: 서로 다른 도시 간)가 탐지기 및 트래커 성능에 어떤 영향을 미치며 도메인 적응이 어떻게 도움이 될 수 있는가?
• RQ3 공동 센서 융합(LiDAR + 카메라)과 정밀한 동기화가 3D 및 2D 인식 벤치마크를 개선할 수 있는가?
• RQ4 도시 대 교외, 시간대, 기상 등의 지리적 요소를 통한 간접적 다양성이 인식 모델의 일반화에 어떤 영향을 미치는가?
• RQ5 이 데이터셋에서 2D 및 3D 객체 탐지와 추적에 대해 어떤 베이스라인 성능을 확립할 수 있는가?

주요 결과

• 이 데이터셋은 지리 간에 뚜렷한 도메인 간 격차를 가능하게 하여 도메인 적응 연구의 기회를 제공한다.
• 베이스라인 결과는 3D LiDAR 및 2D 카메라 탐지뿐 아니라 추적에서도 강력한 성능을 보여주며, 거리 범위와 객체 클래스에 따라 측정 가능한 차이가 있다.
• 더 크고 다양한 데이터셋이 인식 성능 향상에 확실한 이점을 제공하며, 특히 데이터 집약적 모델에 유리하다.
• 센서 동기화 및 LiDAR 레인지 이미지 표현은 교차 도메인 학습 및 대체 입력 표현에 유용한 경로를 제공한다.
• 도메인 격차 분석은 한 도시에서 학습하고 다른 도시에서 테스트하는 것이 APH/AP 지표에 상당한 영향을 미칠 수 있음을 보여주며, 도메인 인식 학습 전략의 필요성을 강조한다.
• 일관된 객체 ID 및 다중 센서 융합을 통한 강건한 3D 및 2D 추적을 지원하여 포괄적인 MOT 평가를 가능하게 한다.