[논문 리뷰] A Large Scale Event-based Detection Dataset for Automotive

Pierre de Tournemire, Davide Oscar Nitti외 3명|arXiv (Cornell University)|2020. 01. 23.

Advanced Memory and Neural Computing참고 문헌 37인용 수 67

한 줄 요약

ATIS 자동차 탐지 데이터셋(GAD)을 도입합니다: 자동차와 보행자에 대한 바운딩 박스 주석이 있는 매우 크고 실제 세계의 이벤트 카메라 데이터세트로, 탐지 및 관련 작업을 가능하게 합니다.

ABSTRACT

We introduce the first very large detection dataset for event cameras. The dataset is composed of more than 39 hours of automotive recordings acquired with a 304x240 ATIS sensor. It contains open roads and very diverse driving scenarios, ranging from urban, highway, suburbs and countryside scenes, as well as different weather and illumination conditions. Manual bounding box annotations of cars and pedestrians contained in the recordings are also provided at a frequency between 1 and 4Hz, yielding more than 255,000 labels in total. We believe that the availability of a labeled dataset of this size will contribute to major advances in event-based vision tasks such as object detection and classification. We also expect benefits in other tasks such as optical flow, structure from motion and tracking, where for example, the large amount of data can be leveraged by self-supervised learning methods.

연구 동기 및 목표

• 이벤트 기반 자동차 시각을 위한 매우 큰 실제 세계 라벨링 데이터세트를 제공합니다.
• 이벤트 스트림에서 객체 탐지 및 관련 작업(예: 추적, 옵티컬 플로우)의 개발 및 평가를 가능하게 합니다.
• 데이터세트 속성을 평가하고 기존의 이벤트 기반 데이터세트와의 비교를 통해 벤치마크를 확립합니다.

제안 방법

• 다양한 시나리오와 조건에서 주행 영상 수집을 위해 GEN1 304x240 이벤트 카메라를 사용합니다.
• 이벤트 스트림에서 생성된 그레이스케일 이미지에서 수동 라벨링으로 1–4 Hz의 자동차와 보행자 바운딩 박스를 주석합니다.
• 프레임당 바운딩 박스와 COCO 유사 평가 지표를 포함한 이진 이벤트 형식의 데이터세트를 제공합니다.
• 딥러닝 학습을 용이하게 하기 위해 60초 조각으로 train/validation/test를 분할합니다.

실험 결과

연구 질문

• RQ1 이벤트 기반 자동차 탐지 데이터세트에서 달성 가능한 규모(시간/레이블)는 무엇인가?
• RQ2 실제 주행에서 이벤트 카메라로 얻은 바운딩 박스의 크기, 종횡비, 위치 분포는 어떻게 나타나는가?
• RQ3 ATIS 자동차 탐지 데이터세트는 크기와 주석 품질 면에서 이전의 이벤트 기반 데이터세트와 어떻게 비교되는가?
• RQ4 표준 탐지 평가 지표(COCO 스타일)를 바운딩 박스가 있는 이벤트 기반 데이터에 직접 적용할 수 있는가?

주요 결과

• 데이터세트는 39.32시간의 데이터와 228,123대의 자동차 및 27,658명의 보행자에 대한 255,781개의 바운딩 박스를 포함합니다.
• 바운딩 박스는 1, 2, 또는 4 Hz로 제공되며 이벤트 스트림에서 생성된 그레이스케일 이미지에 정렬되어 있습니다.
• GAD는 현재까지 출시된 시간 및 라벨 면에서 가장 큰 이벤트 기반 데이터세트이며 탐지를 위한 의미적 바운딩 박스 라벨을 가진 자동차 데이터세트 중에서도 유일합니다.
• 데이터세트는 바운딩 박스를 포함한 이벤트 기반 데이터에 대해 COCO 스타일 지표의 직접적 평가를 가능하게 합니다.
• train/validation/test 분할은 분할 간 통계적으로 균형을 이룹니다.