[논문 리뷰] Driving Datasets Literature Review

Charles-Éric Noël Laflamme, François Pomerleau외 1명|arXiv (Cornell University)|2019. 10. 26.

Autonomous Vehicle Technology and Safety참고 문헌 108인용 수 17

한 줄 요약

이 문헌 고찰은 2019년까지의 자율주행 데이터셋의 현황을 종합적으로 분석하며, 센서, 캘리브레이션 방법, 객체 검출, 스테레오 비전, 행동 분석과 같은 핵심 주행 과제를 분류한다. 객체 검출, 세그멘테이션, 로컬라이제이션, 행동 예측 분야의 40개 이상의 데이터셋에 대한 종합적이고 표 형태의 개요를 제공하며, 벤치마킹 및 연구를 위한 센서, 어노테이션, 고유한 특성들을 강조한다.

ABSTRACT

This report is a survey of the different autonomous driving datasets which have been published up to date. The first section introduces the many sensor types used in autonomous driving datasets. The second section investigates the calibration and synchronization procedure required to generate accurate data. The third section describes the diverse driving tasks explored by the datasets. Finally, the fourth section provides comprehensive lists of datasets, mainly in the form of tables.

연구 동기 및 목표

• 2019년 이전에 발표된 자율주행 데이터셋에 대한 체계적인 조사를 제공하여 학술 및 산업 연구를 지원한다.
• 특히 외부 감지(카메라, LiDAR, 이벤트 카메라) 및 자가 감지 센서(예: 가속도계, GNSS)를 포함한 센서 유형을 분류하고 분석한다.
• 자율주행 차량 인식 시스템의 데이터 정확성에 핵심적인 영향을 미치는 캘리브레이션 및 동기화 절차를 검토한다.
• 객체 검출, 의미 세그멘테이션, 운동 추정, 행동 분석과 같은 핵심 주행 과제에 데이터셋을 매핑한다.
• 객체 검출, 세그멘테이션, 스테레오 비전, 로컬라이제이션, 행동 예측 분야의 40개 이상의 데이터셋을 센서, 어노테이션, 환경 조건 등의 메타데이터 기반으로 편성 및 비교한다.

제안 방법

• 기능 및 데이터 특성에 기반해 외부 감지(예: 단안, 스테레오, 옴니디렉셔널, 열화상, 이벤트, 편광 카메라) 및 자가 감지(예: IMU, GNSS) 센서로 나누어 분류한다.
• 스테레오 및 다중 센서 시스템의 캘리브레이션 기법을 검토하며, 깊이 및 공간 정확도를 확보하기 위한 내재 및 외재 캘리브레이션에 중점을 둔다.
• 다중 모odal 센서 스트림을 정렬하기 위해 타임스탬프 및 하드웨어 트리거를 포함한 데이터 동기화 방법을 분석한다.
• 7개의 핵심 과제인 스테레오 비전, 운동 추정, 객체 검출, 추적, 의미 세그멘테이션, 로컬라이제이션, 행동 분석에 데이터셋을 매핑한다.
• 공급자, 연도, 위치, 길이, 프레임 수, 센서, 지상 진실, 고유 기능 등을 상세히 기재한 7개의 분류 테이블(4.1–4.7)로 데이터셋을 편성 및 정리한다.
• 기후 조건(우천, 조도, 도시/농촌), 센서 다양성, 어노테이션 품질(예: 3D 경계 상자, 옵티컬 플로우, 시선 추적) 등의 환경적 요소를 기반으로 데이터셋의 독창성 평가를 수행한다.

실험 결과

연구 질문

• RQ1 자율주행 데이터셋에서 가장 흔한 센서 모odalities는 무엇이며, 환경적 제약을 상쇄하기 위해 어떻게 상호 보완하는가?
• RQ2 다중 센서 자율주행 데이터셋에서 데이터 일관성을 확보하기 위해 일반적으로 사용되는 표준 캘리브레이션 및 동기화 절차는 무엇인가?
• RQ3 기본 인식 과제별로 환경 다양성(예: 기상 조건, 일출/일몰 시간, 도시 대비 농촌)과 어노테이션 복잡성 측면에서 데이터셋은 어떻게 다릅니까?
• RQ4 3D 객체 검출, 의미 세그멘테이션, 운전자 행동 예측 등의 특정 과제에서 가장 널리 사용되는 데이터셋은 무엇인가요?
• RQ5 장기적, 다중 세션, 다중 센서 로컬라이제이션 및 맵핑을 지원하는 데이터셋은 어떻게 구성되어 있으며, 실제 환경에서의 강성 테스트에 있어 그 한계는 무엇인가요?

주요 결과

• KITTI, Cityscapes, BDD100K 데이터셋은 객체 검출, 의미 세그멘테이션, 스테레오 비전 분야에서 가장 널리 사용되며, 광범위한 어노테이션과 다양한 실제 환경 조건을 제공한다.
• 스테레오 및 LiDAR 융합 데이터셋인 KITTI Stereo 2015와 HD1K는 고정밀 깊이 맵과 3D 포인트 클라우드를 제공하여 고급 3D 인식 과제를 가능하게 한다.
• 옥스포드 로봇카 및 말라가 스테레오 및 도시 데이터셋은 장기적, 다중 기상, 다중 계절 데이터 수집을 지원하여 시간에 따른 강성 평가를 가능하게 한다.
• 행동 예측 데이터셋인 JAAD, Brain4Cars, HDD는 보행자 및 운전자의 의도, 시선 추적, 주행 동작 예측에 대한 풍부한 어노테이션을 포함하여 고급 행동 모델링을 지원한다.
• 이벤트 카메라 데이터셋(DAVIS, DYPED)과 편광 영상 데이터셋(DAVIS)은 새로운 분야이지만, 이벤트 스트림의 이방향 처리를 위한 알고리즘 지원이 제한되어 있어 아직 활용도가 낮다.
• 아폴로 오픈 플랫폼 및 comma.ai 데이터셋은 GNSS, CAN 버스, 비디오를 포함한 대규모 실차량 주행 데이터를 제공하여 종단 간 자율주행 연구 및 조향 예측에 기여한다.