[論文レビュー] Structure-Aware Network for Lane Marker Extraction with Dynamic Vision Sensor

Wensheng Cheng, Hao Luo+3 more|arXiv (Cornell University)|Aug 14, 2020

Autonomous Vehicle Technology and Safety参考文献 45被引用数 17

ひとこと要約

本稿では、高解像度の動的ビジョンセンサ（DVS）画像からのレーンマーカー抽出を目的として、多次元スライス畳み込みを備えた構造に配慮したネットワーク（SANet）を提案する。本研究では、1280×800解像度の5,424枚のDVS画像とピクセル単位のアノテーションを備えたDETデータセットを構築し、SANetが最先端の手法を上回ることを示した。DETベンチマーク上での平均F1スコアは74.21%、平均IoUは60.86%を達成した。

ABSTRACT

Lane marker extraction is a basic yet necessary task for autonomous driving. Although past years have witnessed major advances in lane marker extraction with deep learning models, they all aim at ordinary RGB images generated by frame-based cameras, which limits their performance in extreme cases, like huge illumination change. To tackle this problem, we introduce Dynamic Vision Sensor (DVS), a type of event-based sensor to lane marker extraction task and build a high-resolution DVS dataset for lane marker extraction. We collect the raw event data and generate 5,424 DVS images with a resolution of 1280$ imes$800 pixels, the highest one among all DVS datasets available now. All images are annotated with multi-class semantic segmentation format. We then propose a structure-aware network for lane marker extraction in DVS images. It can capture directional information comprehensively with multidirectional slice convolution. We evaluate our proposed network with other state-of-the-art lane marker extraction models on this dataset. Experimental results demonstrate that our method outperforms other competitors. The dataset is made publicly available, including the raw event data, accumulated images and labels.

研究の動機と目的

• 急速な照度変化などの極端な照明条件下でのRGBベースのレーン検出の限界を解消すること。
• フレームベースカメラが低照度または高ダイナミックレンジの状況で性能を発揮できない問題を、動的ビジョンセンサ（DVS）を活用することで克服すること。
• 1280×800解像度の5,424枚の画像を含み、レーンマーカー抽出に適したマルチクラスセマンティックセグメンテーションラベルを備えた高解像度DVSデータセット（DET）を構築すること。
• 外観の特徴が乏しいDVSデータにおいて、方向性および文脈的な構造的特徴を効果的に捉えることができる構造に配慮したネットワーク（SANet）を設計すること。
• 長く連続するレーン構造をモデル化するための多次元スライス畳み込みを組み込むことで、レーンマーカーのセグメンテーション精度を向上させること。

提案手法

• CeleX V DVSカメラを用いて、5時間分の原始的なイベントストリームを収集し、1280×800ピクセルの高解像度DVS画像を5,424枚生成することで、DETデータセットを構築した。
• 一般向けおよび特化型のレーン検出モデルをサポートするため、マルチクラスセマンティックセグメンテーションおよびバイナリセグメンテーションの2種類のアノテーション形式を提供した。
• 複数の方向性にわたる特徴を捉えるために、多次元スライス畳み込み（MSC）モジュールを備えた構造に配慮したネットワーク（SANet）を提案した。
• スライス畳み込みのカーネルサイズを3から11まで変化させ、レーンマーカーの構造的連続性をモデル化した。最適な性能はカーネルサイズ9で達成された。
• 複数スケールのスキップ接続構造を採用し、層間での文脈的特徴の集約と同時に空間的詳細の保持を実現した。
• 標準的な指標（平均F1スコアおよび平均交差率（IoU））を用いて、FCN、DeepLabv3、RefineNet、SCNNと比較してモデルを訓練および評価した。

実験結果

リサーチクエスチョン

• RQ1 高解像度DVSデータセットは、極端な照明条件下でのレーンマーカー抽出性能を顕著に向上させ得るか？
• RQ2 多次元スライス畳み込みを備えた構造に配慮したネットワークは、DVSデータ内での長く連続するレーン構造を効果的に捉えることができるか？
• RQ3 スライス畳み込みによる方向特徴学習を組み込むことで、標準的なCNNやSCNNのような特化型モデルを上回る性能が得られるか？
• RQ4 DVS画像におけるレーンマーカーの幾何構造をモデル化する際、スライス畳み込みの最適なカーネルサイズは何か？
• RQ5 本手法は、既存のセマンティックセグメンテーションモデルおよびレーン特化型モデルと比較して、イベントベースデータに対してどの程度一般化性能を示すか？

主な発見

• 提案されたDETデータセットは、1280×800解像度の5,424枚の画像と詳細なピクセル単位のアノテーションを備えた、レーンマーカー抽出を目的とした最初の高解像度DVSデータセットである。
• 多次元スライス畳み込みを備えた構造に配慮したネットワーク（SANet_MSC）は、74.21%の平均F1および60.86%の平均IoUを達成し、SCNN（73.85% F1、60.44% IoU）をIoUで0.42%上回った。
• MSCモジュールはベースラインモデルと比較して顕著な性能向上を示し、平均F1スコアが1.78%向上し、平均IoUが1.91%向上した。
• スライス畳み込みのカーネルサイズ9が最良の性能（74.21% F1、60.86% IoU）を発揮し、小さい（3～7）および大きい（11）カーネルと比較して優れた性能を示した。
• フレームベースカメラが低ダイナミックレンジのため失敗するトンネル移行のような極端な照明条件下でも、本手法は優れたロバスト性を示した。
• 一般向けセマンティックセグメンテーションモデル（FCN、DeepLabv3、RefineNet）は、レーン幾何構造に対する構造的インダクティブバイアスが欠如しているため、F1スコアが65%未満にとどまり、本手法に劣った。