[論文レビュー] A Large Scale Event-based Detection Dataset for Automotive

Pierre de Tournemire, Davide Oscar Nitti+3 more|arXiv (Cornell University)|Jan 23, 2020

Advanced Memory and Neural Computing参考文献 37被引用数 67

ひとこと要約

ATIS Automotive Detection Dataset (GAD)を紹介: 自動車と歩行者の境界ボックス注釈を備えた非常に大規模な実世界のイベントカメラデータセットで、検出と関連タスクを可能にします。

ABSTRACT

We introduce the first very large detection dataset for event cameras. The dataset is composed of more than 39 hours of automotive recordings acquired with a 304x240 ATIS sensor. It contains open roads and very diverse driving scenarios, ranging from urban, highway, suburbs and countryside scenes, as well as different weather and illumination conditions. Manual bounding box annotations of cars and pedestrians contained in the recordings are also provided at a frequency between 1 and 4Hz, yielding more than 255,000 labels in total. We believe that the availability of a labeled dataset of this size will contribute to major advances in event-based vision tasks such as object detection and classification. We also expect benefits in other tasks such as optical flow, structure from motion and tracking, where for example, the large amount of data can be leveraged by self-supervised learning methods.

研究の動機と目的

• イベントベースの自動車ビジョンのための非常に大規模で実世界のラベル付きデータセットを提供する。
• イベントストリーム上での物体検出および関連タスク（例：追跡、光学フロー）の開発と評価を可能にする。
• データセットの特性を評価し、既存のイベントベースデータセットと比較してベンチマークを確立する。

提案手法

• 多様なシナリオと条件下で運転映像を収集するためにGEN1 304x240のイベントカメラを使用する。
• イベントデータから生成されたグレースケール画像に対して、1–4 Hzで手動で自動車と歩行者を注釈付けする。
• フレームごとの境界ボックスとCOCO風の評価指標を備えたバイナリイベント形式でデータセットを提供する。
• 深層学習トレーニングを促進するため、60秒のチャンクで訓練/検証/テストにデータを分割する。

実験結果

リサーチクエスチョン

• RQ1 自動車用イベントベース検出データセットで達成可能な規模（時間数、ラベル数）はどの程度か？
• RQ2 イベントカメラを用いた実世界の走行で、境界ボックスの統計（サイズ、アスペクト比、位置）はどのように分布するか？
• RQ3 ATIS Automotive Detection Datasetはサイズと注釈品質の点で、先行するイベントベースデータセットとどう比較されるか？
• RQ4 境界ボックス注釈を備えたイベントベースデータに、標準的な検出評価指標（COCOスタイル）を直接適用できるか？

主な発見

データセット	タスク	最大サンプル時間（秒）	総時間（時間）	ラベル数	クラス数
AAD Dataset (this work)	Detection for Automotive	60 (10,020 ∗ )	39.32	255,781	2
Pedestrian Dataset [31]	Detection for Surveillance	30	0.10	11,667	1
N-Mnist [34]	Object Classification	0.3	5.83	70,000	10
N-Caltech101 [34]	Object Classification	0.3	0.76	9,146	101
N-Cars [42]	Object Classification	0.1	0.68	24,029	2
DVS-Gestures [2]	Gesture Recognition	6	2.24	1,342	11
ASL-DVS [4]	Gesture Recognition	0.1	2.80	100,800	24
MVSEC [44]	Stereo, Flow, VO	1500	1.13	-	-
DDD17 [5]	Autonomous Driving	3135	12	-	-

• 本データセットは39.32時間のデータと255,781の車両/歩行者境界ボックスを、228,123台の車と27,658人の歩行者に跨って含む。
• 境界ボックスは1、2、または4 Hzで提供され、イベントストリームから生成されたグレースケール画像に揃えられている。
• GADはこれまでに公開された中で時間数とラベル数の点で最大のイベントベースデータセットであり、検出用の意味的境界ボックスラベルを持つ自動車データセットとして唯一である。
• 本データセットは、境界ボックスを持つイベントベースデータの評価にCOCOスタイルの指標を直接使用できるようにする。
• 訓練/検証/テストのスプリットは統計的に各スプリットでバランスが取れている。