[论文解读] DDD17: End-To-End DAVIS Driving Dataset

Jonathan Binas, Daniel Neil+2 more|arXiv (Cornell University)|Nov 4, 2017

CCD and CMOS Imaging Sensors被引用 98

一句话总结

本论文介绍了 DDD17，这是首个开放 DAVIS 驾驶数据集，具有同步的 APS 和 DVS 数据以及车辆诊断数据，并提供基于 CNN 的 APS 与 DVS 输入的端到端转向预测初步研究。

ABSTRACT

Event cameras, such as dynamic vision sensors (DVS), and dynamic and active-pixel vision sensors (DAVIS) can supplement other autonomous driving sensors by providing a concurrent stream of standard active pixel sensor (APS) images and DVS temporal contrast events. The APS stream is a sequence of standard grayscale global-shutter image sensor frames. The DVS events represent brightness changes occurring at a particular moment, with a jitter of about a millisecond under most lighting conditions. They have a dynamic range of >120 dB and effective frame rates >1 kHz at data rates comparable to 30 fps (frames/second) image sensors. To overcome some of the limitations of current image acquisition technology, we investigate in this work the use of the combined DVS and APS streams in end-to-end driving applications. The dataset DDD17 accompanying this paper is the first open dataset of annotated DAVIS driving recordings. DDD17 has over 12 h of a 346x260 pixel DAVIS sensor recording highway and city driving in daytime, evening, night, dry and wet weather conditions, along with vehicle speed, GPS position, driver steering, throttle, and brake captured from the car's on-board diagnostics interface. As an example application, we performed a preliminary end-to-end learning study of using a convolutional neural network that is trained to predict the instantaneous steering angle from DVS and APS visual data.

研究动机与目标

• 介绍 DDD17：首个开放 DAVIS 驱动数据集，具备用于驾驶场景端到端标注。
• 展示用于 APS、DVS 和车辆诊断数据同步与记录的软件。
• 提供基于 CNN 的 APS 与 DVS 数据的初步端到端转向角预测研究。

提出的方法

• 使用 DAVIS346B 摄像头以 346x260 分辨率捕获同步的 APS 和 DVS 数据。
• 通过 OpenXC 接口以约 10 Hz 记录多传感器的车辆控制与诊断数据。
• 开发 ddd17-utils，用于在 HDF5 和 DAVIS cAER 格式中实现同步、事件驱动的数据存储。
• 使用具有 4 个卷积层（每层 8 个特征图，3x3 卷积核）的 CNN，对来自 80x60 下采样 APS/DVS 输入的转向角进行预测。
• 叠加并比较 APS 与 DVS 输入，以评估端到端学习的可用性。

实验结果

研究问题

• RQ1 APS 与 DVS 流能否有效融合用于端到端驾驶任务（如转向角预测）？
• RQ2 DDD17 数据集及工具在训练基于 CNN 的转向模型方面的可用性如何？
• RQ3 在不同驾驶条件下，DDD17 上 APS-only 与 DVS-only 输入的端到端学习性能有何差异？
• RQ4 由于传感器模态和数据平衡，使用 DDD17 进行学习型驾驶存在哪些局限？

主要发现

• DDD17 提供超过 12 小时的 DAVIS 驱动数据，覆盖多种条件，整体超过 1000 千米。
• 数据集包含带有逐流时间戳的 HDF5 存储的同步 APS、DVS 和车辆诊断数据。
• 基于 CNN 的初步转向预测实验显示数据和工具的可用性，尽管定量结果不确定。
• 使用单次 1.5 小时的记录来比较 APS 和 DVS 输入在转向预测上的效果。
• 本文展示了在 DAVIS 数据上进行端到端学习的可行性，并发布了用于数据处理的配套软件。