[論文レビュー] DDD17: End-To-End DAVIS Driving Dataset

Jonathan Binas, Daniel Neil+2 more|arXiv (Cornell University)|Nov 4, 2017

CCD and CMOS Imaging Sensors被引用数 98

ひとこと要約

本論文は、APSとDVSデータを同期させた車両診断情報を付与した最初のオープン DAVIS ドライビングデータセット「DDD17」を紹介し、APSおよびDVS入力を用いたCNNによる端から端までのステアリング予測の初期研究を提供する。

ABSTRACT

Event cameras, such as dynamic vision sensors (DVS), and dynamic and active-pixel vision sensors (DAVIS) can supplement other autonomous driving sensors by providing a concurrent stream of standard active pixel sensor (APS) images and DVS temporal contrast events. The APS stream is a sequence of standard grayscale global-shutter image sensor frames. The DVS events represent brightness changes occurring at a particular moment, with a jitter of about a millisecond under most lighting conditions. They have a dynamic range of >120 dB and effective frame rates >1 kHz at data rates comparable to 30 fps (frames/second) image sensors. To overcome some of the limitations of current image acquisition technology, we investigate in this work the use of the combined DVS and APS streams in end-to-end driving applications. The dataset DDD17 accompanying this paper is the first open dataset of annotated DAVIS driving recordings. DDD17 has over 12 h of a 346x260 pixel DAVIS sensor recording highway and city driving in daytime, evening, night, dry and wet weather conditions, along with vehicle speed, GPS position, driver steering, throttle, and brake captured from the car's on-board diagnostics interface. As an example application, we performed a preliminary end-to-end learning study of using a convolutional neural network that is trained to predict the instantaneous steering angle from DVS and APS visual data.

研究の動機と目的

• 運転シナリオのエンドツーエンドラベリングを備えた、最初のオープン DAVIS ドライビングデータセット DDD17 を紹介する。
• APS、DVS、および車両診断データのデータ同期と記録ソフトウェアを実演する。
• APSとDVSデータを用いたCNNによる初期のエンドツーエンドのステアリング角予測研究を提供する。

提案手法

• DAVIS346Bカメラを用いて、346x260解像度で同期したAPSとDVSデータを取得する。
• OpenXCインターフェースを介して、複数センサの車両制御および診断データを約10 Hzで記録する。
• HDF5とDAVIS cAER形式で、同期的なイベント駆動データストレージを実現するddd17-utilsを開発する。
• 80x60のサブサンプリング済みAPS/DVS入力からステアリング角を予測するため、各層8フィーチャマップの4層畳み込みニューラルネットワーク（3x3カーネル）を訓練する。
• APSとDVSの入力を重ね合わせて比較し、エンドツーエンド学習の実用性を評価する。

実験結果

リサーチクエスチョン

• RQ1 APSとDVSストリームをエンドツーエンドの運転タスク（例：ステアリング角予測）に効果的に統合できるか。
• RQ2 DDD17データセットとツール群を用いたCNNベースのステアリングモデルの学習の実用性はどうか。
• RQ3 様々な運転条件下で、APSのみ vs DVSのみのエンドツーエンド学習の性能はどのように異なるか。
• RQ4 センサモダリティとデータのバランスに起因する学習ベースの運転におけるDDD17の限界は何か。

主な発見

File(.hdf5)	Scene	Cond.	T (s)	GB
1487339175	cty	wet	347	2.8
1487349453	campus	dark	192	1.7
1487350455	fwy	ngt, rain	1404	11.2
1487354030	cty	ngt, wet	377	3
1487354811	cty	ngt, wet	190	1.4
1487355025	cty	ngt, wet	57	0.4
1487355090	cty, hwy	ngt, wet	984	5.9
1487356509	fwy	ngt, wet	2233	12.4
1487417411	fwy	day	2096	18.2
1487419513	fwy	day	1976	18.3
1487424147	m. fwy	day	3040	30.3
1487427200	fwy	day	1947	17.6
1487430438	fwy	day	3135	26.2
1487433587	fwy+cty	ngt	2355	18.5
1487593224	hwy	day	586	5.3
1487594667	fwy	day	2985	29.7
1487597945	cty	evening	50	0.5
1487598202	fwy	day	1882	15.1
1487600962	fwy	day	2143	15.1
1487608147	fwy	evening	1208	9
1487609463	fwy	evening	1458	6.3
1487778564	campus	day	101	1.1
1487779465	cty+hwy	day	1170	11.2
1487781509	campus	evening	127	0.6
1487782014	cty+hwy	evening	1118	7.3
1487839456	cty	day,sun	406	5.7
1487842276	cty	day,sun	625	9.5
1487844247	cty	day,sun	523	7.5
1487846842	twn+hwy	day,sun	1799	20.6
1487849151	twn	day,sun	429	5.5
1487849663	twn+hwy	day,sun	2863	34.7
1487856408	twn	day,sun	817	13.2
1487857941	twn	day,sun	99	1.4
1487858093	cty	day,sun	2421	34.7
1487860613	cty	day,sun	1065	17.4
1487864316	cty+fwy	evening	1087	12.9

• DDD17は1000km超の多様な条件下で12時間以上のDAVIS運転データを提供する。
• データセットには同期されたAPS、DVS、および車両診断データが、ストリームごとのタイムスタンプとともにHDF5に保存されている。
• CNNを用いた初期のステアリング予測実験はデータとツールの実用性を示すが、定量的な結論には至らない。
• ステアリング予測のためのAPSとDVS入力を比較する単一の1.5時間記録が用いられた。
• 本論文はDAVISデータ上のエンドツーエンド学習の実現可能性を示し、データ処理用のソフトウェアを公開する。