[论文解读] A Large Scale Event-based Detection Dataset for Automotive

Pierre de Tournemire, Davide Oscar Nitti+3 more|arXiv (Cornell University)|Jan 23, 2020

Advanced Memory and Neural Computing参考文献 37被引用 67

一句话总结

介绍 ATIS Automotive Detection Dataset (GAD): 一个非常大规模、真实世界场景的事件相机数据集，包含汽车和行人的边界框标注，便于检测及相关任务。

ABSTRACT

We introduce the first very large detection dataset for event cameras. The dataset is composed of more than 39 hours of automotive recordings acquired with a 304x240 ATIS sensor. It contains open roads and very diverse driving scenarios, ranging from urban, highway, suburbs and countryside scenes, as well as different weather and illumination conditions. Manual bounding box annotations of cars and pedestrians contained in the recordings are also provided at a frequency between 1 and 4Hz, yielding more than 255,000 labels in total. We believe that the availability of a labeled dataset of this size will contribute to major advances in event-based vision tasks such as object detection and classification. We also expect benefits in other tasks such as optical flow, structure from motion and tracking, where for example, the large amount of data can be leveraged by self-supervised learning methods.

研究动机与目标

• 提供一个非常大规模、真实世界的事件基汽车视觉有标签数据集。
• 实现事件流上对象检测及相关任务（如跟踪、光流）的开发与评估。
• 评估数据集属性并与现有事件基数据集进行比较，以建立基准。

提出的方法

• 使用 GEN1 304x240 事件相机在多样场景和条件下收集驾驶视频。
• 通过对从事件数据生成的灰度图进行手动标注，在 1–4 Hz 进行汽车和行人标注。
• 提供以二进制事件格式存储的数据集，具备逐帧边界框和类 COCO 的评估指标。
• 数据按照 60 秒片段分割为 train/validation/test，以便深度学习训练。

实验结果

研究问题

• RQ1 对于汽车事件基检测数据集，能够达到的规模（小时数、标签数）是多少？
• RQ2 在使用事件相机的真实世界驾驶场景中，边界框统计（尺寸、纵横比、位置）如何分布？
• RQ3 ATIS 汽车检测数据集在规模和标注质量上与先前的事件基数据集相比如何？
• RQ4 是否可以将标准的检测评估指标（COCO 风格）直接应用于具有边界框标注的事件基数据？

主要发现

• 该数据集包含 39.32 小时数据以及 255,781 个汽车/行人边界框，覆盖 228,123 辆汽车和 27,658 名行人。
• 边界框以 1、2 或 4 Hz 提供，且与从事件流生成的灰度图对齐。
• GAD 是迄今为止在时长和标签方面最大的事件基数据集，也是唯一具有用于检测的语义边界框标签的汽车数据集。
• 该数据集使得在带边界框的事件基数据上直接使用 COCO 风格指标进行评估成为可能。
• train/validation/test 分割在统计上在各分割之间实现平衡。