[論文レビュー] Cognitive Accident Prediction in Driving Scenes: A Multimodality Benchmark

Jianwu Fang, Leilei Li+4 more|arXiv (Cornell University)|Dec 19, 2022

Sentiment Analysis and Opinion Mining被引用数 10

ひとこと要約

本論文は、ドライバーの注目とテキスト記述を活用して、ドライブ動画における事故予測を向上させる視覚言語マルチモーダルフレームワーク、Cognitive Accident Prediction (CAP) を提案する。注目付きテキストから視覚へのシフト統合とシーンコンテキスト転送を組み合わせることで、11,727本の屋外事故動画と詳細な事実・影響・理由・自己認識のアノテーションを備えた新しい大規模ベンチマーク、CAP-DATA において最先端の性能を達成した。

ABSTRACT

Traffic accident prediction in driving videos aims to provide an early warning of the accident occurrence, and supports the decision making of safe driving systems. Previous works usually concentrate on the spatial-temporal correlation of object-level context, while they do not fit the inherent long-tailed data distribution well and are vulnerable to severe environmental change. In this work, we propose a Cognitive Accident Prediction (CAP) method that explicitly leverages human-inspired cognition of text description on the visual observation and the driver attention to facilitate model training. In particular, the text description provides a dense semantic description guidance for the primary context of the traffic scene, while the driver attention provides a traction to focus on the critical region closely correlating with safe driving. CAP is formulated by an attentive text-to-vision shift fusion module, an attentive scene context transfer module, and the driver attention guided accident prediction module. We leverage the attention mechanism in these modules to explore the core semantic cues for accident prediction. In order to train CAP, we extend an existing self-collected DADA-2000 dataset (with annotated driver attention for each frame) with further factual text descriptions for the visual observations before the accidents. Besides, we construct a new large-scale benchmark consisting of 11,727 in-the-wild accident videos with over 2.19 million frames (named as CAP-DATA) together with labeled fact-effect-reason-introspection description and temporal accident frame label. Based on extensive experiments, the superiority of CAP is validated compared with state-of-the-art approaches. The code, CAP-DATA, and all results will be released in \url{https://github.com/JWFanggit/LOTVS-CAP}.

研究の動機と目的

• 既存の事故予測モデルが長尾データ分布や環境の多様性に対処する際の限界を解消すること。
• 人間の認知的信号（テキスト記述とドライバーの注目）を統合することで、ビデオベースの事故予測におけるモデルのロバスト性と解釈可能性を向上させること。
• 事実、影響、理由、自己認識の4つの側面を詳細にアノテートした、大規模かつ多様なベンチマーク（CAP-DATA）を構築し、認知的事故予測分野における先進的で高度な研究を支援すること。
• 視覚言語統合と注目メカニズムが、厳しい視覚的条件下での早期事故検出をどのように向上させるかを検証すること。
• 推論時にテキストモダリティが削除されてもモデルが強力な性能を維持することを示し、実世界の展開に適応できることを実証すること。

提案手法

• テキスト記述と視覚特徴を一致させ、事故関連のシーン要因に注目を向けるように誘導する、注目付きテキストから視覚へのシフト統合モジュールを提案する。
• 自己注意メカニズムを用いて物体間の空間的・時間的依存関係をモデル化する、注目付きのシーンコンテキスト転送モジュールを導入する。
• 人間の注視マップを活用して、事故発生前に重要な領域に注目を向ける、ドライバーの注目をガイドとする事故予測モジュールを採用する。
• 視覚、テキスト、注目モダリティの入力を統合するためのビジョン・ランゲージ変換器ベースのアーキテクチャを用いて、マルチモーダル推論を実現する。
• 対照的学習とクロスアテンション機構を用いて、モダリティ間の意味的キューを整列させるために、エンド・トゥ・エンドでモデルを訓練する。
• ドメイン適応技術を適用し、テキスト入力なしのテストシナリオにも一般化できるようにし、実世界の展開を模擬する。

実験結果

リサーチクエスチョン

• RQ1 テキスト記述とドライバーの注目を統合することで、長尾データ分布や悪化した環境条件下でも、事故予測モデルの性能とロバスト性が向上するか？
• RQ2 提案された注目付きテキストから視覚へのシフト統合が、視覚特徴と意味的キューをどのように一致させ、早期事故検出を支援するか？
• RQ3 認知的信号（テキストと注目）の統合が、実世界のドライブシナリオにおけるモデルの解釈可能性と一般化性能をどの程度向上させるか？
• RQ4 テキスト入力なしの未観測データに対して、クロスデータセット評価を実施した場合、モデルの性能はどの程度か？
• RQ5 各モダリティ（視覚、テキスト、注目）が最終的な予測性能に果たす相対的寄与度はどの程度か？

主な発見

• CAPは、CAP-DATAベンチマークにおいて最先端の性能を達成し、DRIVE や DSTA よりも顕著に優れた Time-to-Accident (TTA) メトリクスを示した。
• 推論時にテキストモダリティが削除されても、注目付きシフト統合モジュールによる有効なドメイン適応のおかげで、依然として高い性能を維持した。
• テキスト記述の追加により、予測精度が向上し、特に長期予測（5秒および4秒）において、CAPとベースラインモデルとの性能差が拡大した。
• CCDデータセットでは、クロスデータセット評価でAPスコアが0.997を達成し、DRIVE（0.992）やXAI-ANT（0.940）をすべて上回った。
• mTTAメトリクスは、カーブ道路やT字路で長期予測においてCAPが最も優れた性能を示し、複雑な道路形状への適応性が優れていることを示した。
• 本研究では、APとmTTAが限界のある評価指標であることが明らかになった—APは負例の比率に敏感であり、mTTAは異なるドライブシナリオ間での識別力に欠けている。