[논문 리뷰] DDD17: End-To-End DAVIS Driving Dataset

Jonathan Binas, Daniel Neil외 2명|arXiv (Cornell University)|2017. 11. 04.

CCD and CMOS Imaging Sensors인용 수 98

한 줄 요약

논문은 APS와 DVS 데이터가 동기화된 DAVIS 드라이빙 데이터셋 DDD17을 최초로 소개하고, APS 및 DVS 입력에서 CNN을 사용한 엔드-투-엔드 조향 예측 연구를 초기 단계로 제시합니다.

ABSTRACT

Event cameras, such as dynamic vision sensors (DVS), and dynamic and active-pixel vision sensors (DAVIS) can supplement other autonomous driving sensors by providing a concurrent stream of standard active pixel sensor (APS) images and DVS temporal contrast events. The APS stream is a sequence of standard grayscale global-shutter image sensor frames. The DVS events represent brightness changes occurring at a particular moment, with a jitter of about a millisecond under most lighting conditions. They have a dynamic range of >120 dB and effective frame rates >1 kHz at data rates comparable to 30 fps (frames/second) image sensors. To overcome some of the limitations of current image acquisition technology, we investigate in this work the use of the combined DVS and APS streams in end-to-end driving applications. The dataset DDD17 accompanying this paper is the first open dataset of annotated DAVIS driving recordings. DDD17 has over 12 h of a 346x260 pixel DAVIS sensor recording highway and city driving in daytime, evening, night, dry and wet weather conditions, along with vehicle speed, GPS position, driver steering, throttle, and brake captured from the car's on-board diagnostics interface. As an example application, we performed a preliminary end-to-end learning study of using a convolutional neural network that is trained to predict the instantaneous steering angle from DVS and APS visual data.

연구 동기 및 목표

• DDD17을 도입하여 주행 시나리오에 대한 엔드-투-엔드 라벨링이 있는 최초의 DAVIS 주행 데이터셋을 제시한다.
• APS, DVS 및 차량 진단 데이터의 동기화 및 기록 소프트웨어를 시연한다.
• APS 및 DVS 데이터에서 CNN으로 엔드-투-엔드 조향 각도 예측에 대한 예비 연구를 제공한다.

제안 방법

• 346x260 해상도에서 동기화된 APS 및 DVS 데이터를 캡처하기 위한 DAVIS346B 카메라를 사용한다.
• 다수 센서의 ~10 Hz로 OpenXC 인터페이스를 통해 차량 제어 및 진단 데이터를 기록한다.
• HDF5와 DAVIS cAER 형식으로 동기화된 이벤트 기반 데이터 저장을 위한 ddd17-utils를 개발한다.
• 80x60 서브샘플링된 APS/DVS 입력에서 조향 각도를 예측하기 위한 4개의 컨볼루션 층(각각 8 피처 맵, 커널 3x3)을 가진 CNN을 학습한다.
• 엔드-투-엔드 학습의 유 usability를 평가하기 위해 APS 대 DVS 입력을 오버레이하고 비교한다.

실험 결과

연구 질문

• RQ1 APS 및 DVS 스트림을 엔드-투-엔드 운전 작업(예: 조향 각도 예측)에 효과적으로 융합할 수 있는가?
• RQ2 CNN 기반 조향 모델 학습을 위한 DDD17 데이터셋 및 도구의 활용도는 어떠한가?
• RQ3 varied driving 조건에서 APS 전용과 DVS 전용 입력 간의 엔드-투-엔드 학습 성능 차이는 어느 정도인가?
• RQ4 센서 모달리티 및 데이터 밸런스의 제약으로 인해 DDD17을 학습 기반 운전에 사용하는 데 어떤 한계가 있는가?

주요 결과

• DDD17은 1000km 이상에서 다양한 조건하에 12시간이 넘는 DAVIS 주행 데이터를 제공한다.
• 데이터셋은 APS, DVS 및 차량 진단 데이터를 스트림별 타임스탬프와 함께 HDF5에 동기화되어 저장한다.
• CNN을 이용한 예비 조향 예측 실험은 데이터 및 도구의 활용 가능성을 보여주나 정량적 결과는 확정적이지 않다.
• 조향 예측을 위해 APS와 DVS 입력을 비교하기 위해 1.5시간 분량의 단일 기록을 사용했다.
• 이 논문은 DAVIS 데이터에서 엔드-투-엔드 학습의 가능성을 시연하고 데이터 처리용 소프트웨어를 공개한다.