[論文レビュー] DADA: A Large-scale Benchmark and Model for Driver Attention Prediction in Accidental Scenarios.

Jianwu Fang, Dingxin Yan+2 more|arXiv (Cornell University)|Dec 18, 2019

Visual Attention and Saliency Detection参考文献 54被引用数 19

ひとこと要約

本稿では、通常、危険、事故の3つの交通状況においてドライバーの注目行動を予測するための2000本の動画シーケンスを有する大規模ベンチマークDADA-2000を紹介する。また、空間的・時間的意味をモデル化し、状況の変化にも適応するマルチパス意味的ガイド付き注意融合ネットワークMSAFNetを提案し、注目、飛ぶ視線、注目時間、事故関連オブジェクト、カテゴリの詳細なアノテーションを備えた新ベンチマークで最先端の性能を達成した。

ABSTRACT

Driver attention prediction has recently absorbed increasing attention in traffic scene understanding and is prone to be an essential problem in vision-centered and human-like driving systems. This work, different from other attempts, makes an attempt to predict the driver attention in accidental scenarios containing normal, critical and accidental situations simultaneously. However, challenges tread on the heels of that because of the dynamic traffic scene, intricate and imbalanced accident categories. With the hypothesis that driver attention can provide a selective role of crash-object for assisting driving accident detection or prediction, this paper designs a multi-path semantic-guided attentive fusion network (MSAFNet) that learns the spatio-temporal semantic and scene variation in prediction. For fulfilling this, a large-scale benchmark with 2000 video sequences (named as DADA-2000) is contributed with laborious annotation for driver attention (fixation, saccade, focusing time), accident objects/intervals, as well as the accident categories, and superior performance to state-of-the-arts are provided by thorough evaluations. As far as we know, this is the first comprehensive and quantitative study for the human-eye sensing exploration in accidental scenarios. DADA-2000 is available at this https URL.

研究の動機と目的

• 通常、危険、事故状況を含む多様な交通状況におけるドライバーの注目予測のための包括的で大規模なデータセットの不足に対処すること。
• 動的交通環境における複雑な空間的・時間的意味と状況の変化を捉えることができる深層学習モデルの開発。
• 注目、飛ぶ視線、注目時間、事故関連オブジェクトなどの詳細な多段階アノテーションを通じて、事故関連文脈における人間の視覚的感覚行動の定量的分析を可能にすること。
• ビジョン中心の、人間と同等の運転システムの開発と評価を支援するベンチマークの確立。

提案手法

• 動画入力からのマルチスケール空間的・時間的特徴を統合するためのマルチパス意味的ガイド付き注意融合ネットワーク（MSAFNet）の設計。
• 事故予測に不可欠な関連視覚的キューと状況の変化を動的に強調するためのアテンション機構の採用。
• 人間がアノテートしたドライバーの注目（注目、飛ぶ視線、注目時間）、事故オブジェクト、事故カテゴリを備えた大規模な動画データセット（DADA-2000）の活用。
• DADA-2000上でMSAFNetモデルをエンドツーエンドに訓練し、さまざまな交通状況下でのドライバーの注目を予測。
• 多様で複雑な交通状況においてもロバストな性能を向上させるための状況変化モデリングの統合。
• 新ベンチマーク上で最先端の手法と比較して、包括的な評価を通じてモデルの妥当性を検証。

実験結果

リサーチクエスチョン

• RQ1 統一されたフレームワーク内で、通常、危険、事故状況の3つの交通状況においてドライバーの注目を効果的に予測する方法は何か？
• RQ2 空間的・時間的意味理解は、動的交通シーンにおける注目予測精度の向上にどのような役割を果たすか？
• RQ3 マルチパス注意融合ネットワークは、既存のモデルに比べて、状況の変化や事故関連のキューをどれほど効果的に捉えることができるか？
• RQ4 注目、飛ぶ視線、注目時間、事故オブジェクトなどの詳細な多段階アノテーションの組み込みは、モデルの性能と解釈可能性をどのように向上させるか？
• RQ5 DADA-2000のような大規模で多様なベンチマークは、ドライバーの注目予測モデルのより信頼性が高く汎用性の高い評価を可能にするか？

主な発見

• 提案されたMSAFNetモデルは、DADA-2000ベンチマーク上で最先端の手法と比較して優れた性能を示し、多様な交通状況におけるドライバーの注目予測精度が向上した。
• マルチパス特徴抽出と意味的ガイド付きアテンション機構の統合により、事故関連の視覚的キューを検出する能力が著しく向上した。
• DADA-2000ベンチマークは、注目、飛ぶ視線、注目時間、事故オブジェクト、カテゴリの詳細なアノテーションを備えた包括的で大規模なリソースを提供し、より洗練された分析を可能にした。
• モデルは不均衡な事故カテゴリに対してもロバストな性能を示し、アテンション特徴学習によるクラス不均衡の効果的対処が可能であることを示した。
• 本研究は、事故状況における人間の視覚的感覚行動の包括的かつ定量的な探求を初めて実現し、今後の研究の新たな基準を確立した。