[論文レビュー] A Memory-Augmented Multi-Task Collaborative Framework for Unsupervised Traffic Accident Detection in Driving Videos

Rongqin Liang, Yuanman Li+3 more|arXiv (Cornell University)|Jul 27, 2023

Autonomous Vehicle Technology and SafetyEngineering被引用数 3

ひとこと要約

本稿では、ドライブ動画における教師なし交通標本検出のためのメモリ拡張型マルチタスク協調フレームワーク（MAMTCF）を提案する。本手法は、光-flow再構成と将来の物体位置特定を併用することで、エゴ関与あり・なしの両方の事故を検出する。メモリ拡張型の運動表現機構を統合し、保存された正常パターンで運動特徴を強化することで、大規模ベンチマークで最先端の性能を達成し、単一の事前学習タスク手法を上回る。

ABSTRACT

Identifying traffic accidents in driving videos is crucial to ensuring the safety of autonomous driving and driver assistance systems. To address the potential danger caused by the long-tailed distribution of driving events, existing traffic accident detection (TAD) methods mainly rely on unsupervised learning. However, TAD is still challenging due to the rapid movement of cameras and dynamic scenes in driving scenarios. Existing unsupervised TAD methods mainly rely on a single pretext task, i.e., an appearance-based or future object localization task, to detect accidents. However, appearance-based approaches are easily disturbed by the rapid movement of the camera and changes in illumination, which significantly reduce the performance of traffic accident detection. Methods based on future object localization may fail to capture appearance changes in video frames, making it difficult to detect ego-involved accidents (e.g., out of control of the ego-vehicle). In this paper, we propose a novel memory-augmented multi-task collaborative framework (MAMTCF) for unsupervised traffic accident detection in driving videos. Different from previous approaches, our method can more accurately detect both ego-involved and non-ego accidents by simultaneously modeling appearance changes and object motions in video frames through the collaboration of optical flow reconstruction and future object localization tasks. Further, we introduce a memory-augmented motion representation mechanism to fully explore the interrelation between different types of motion representations and exploit the high-level features of normal traffic patterns stored in memory to augment motion representations, thus enlarging the difference from anomalies. Experimental results on recently published large-scale dataset demonstrate that our method achieves better performance compared to previous state-of-the-art approaches.

研究の動機と目的

• ドライブ動画における教師なし交通標本検出の課題に取り組むこと、特に事故タイプの長尾分布下での検出に焦点を当てる。
• 外見ベースの手法や将来の物体位置特定手法といった単一事前学習タスク手法の限界を克服すること—特にカメラの動きや照明変化に敏感であるがゆえにエゴ関与事故を検出できない点を改善する。
• 外見の変化（光-flowを介して）と物体の運動（将来の位置特定を介して）を共同でモデリングすることで、エゴ運動および物体レベルの異常を捉えることで、検出感度を向上させる。
• メモリバンクから得られる高レベルの正常交通パターンを組み込むことで、運動表現学習を強化し、異常識別を向上させる。
• 動的かつ関連性の高いメモリアイテムを選択して運動特徴を精緻化する、メモリ拡張型運動表現機構を構築する。これにより、耐障害性と一般化性能が向上する。

提案手法

• 光-flow再構成と将来の物体位置特定を事前学習タスクとして併用し、正常なドライブパターンをモデリングするマルチタスク協調フレームワークを提案する。
• 正常交通の高レベル特徴を格納する学習可能なメモリバンクを用いた、メモリ拡張型運動表現（MAMR）機構を導入する。
• メモリアクセスにおけるスパarsityを強制するため、学習可能な閾値を用いたハードシャープン操作を採用し、運動表現精緻化に必要なメモリアイテムのみを選択する。
• 時系列フレーム間での運動表現の集約と精緻化を図るため、Transformerベースのアーキテクチャを採用し、動的シーンの時系列モデリングを向上させる。
• 定期的に古いメモリアイテムを正常交通シーケンスからの新しい特徴で置き換えるメモリ更新戦略を採用し、正常行動の最新の表現を維持する。
• 事故アノテーションを一切必要としない教師なしの方法で、エンド・ツー・エンドにモデルを訓練する。再構成損失と位置特定損失を用いて特徴学習をガイドする。

Figure 1: The framework of our MAMTCF algorithm. MAMTCF primarily consists of a feature extraction module, a memory-augmented motion representation mechanism, and a multi-task decoder. 1) First, the optical flow of driving video frames and the bounding boxes of observed objects in the scenes are enc

実験結果

リサーチクエスチョン

• RQ1 光-flow再構成と将来の物体位置特定の共同最適化は、単一タスクベースラインと比較して、エゴ関与あり・なしの両方の交通標本検出を向上させるか？
• RQ2 メモリ拡張機構を組み込むことで、教師なしTADにおける運動表現学習と異常識別はどのように向上するか？
• RQ3 MAMR機構における性能と一般化のバランスを最適化するためのメモリサイズとハードシャープン閾値の最適設定は何か？
• RQ4 本フレームワークは、大規模かつ実世界のドライブ動画ベンチマークにおいて、既存の教師なしTAD手法をどの程度上回るか？
• RQ5 なぜ本手法は、微細なエゴ車両の運動や極端な照明変化の状況では依然として失敗するのか？主な失敗モードは何か？

主な発見

• 提案されたMAMTCFフレームワークは、最近公開された大規模なドライブ動画データセットで最先端の性能を達成し、mAPおよびF1スコアの両面で既存の教師なしTAD手法を上回った。
• メモリ拡張型運動表現機構により、特にエゴ関与事故において、正常と異常の運動パターンの識別マージンが拡大され、異常検出性能が向上した。
• 1000個のメモリスロット（M=1000）で最良の性能が達成されたが、それ以上に容量を増やすと過学習のため性能がわずかに低下した。
• 閾値λ=3/Mを用いたハードシャープン操作が最良の性能を示し、ソフトマックスベースラインを上回った。これはスパarsityを促進し、より関連性の高いメモリアイテムを選択する効果があった。
• MAMR機構におけるL=3層のモデルが、性能とモデル複雑度の最適なトレードオフを達成した。深層ネットワークでは検出精度がわずかに低下した。
• 失敗事例から、微細なエゴ車両の運動や低視認性状況では、光-flowの変化が微細で、物体検出が失敗するため、事故検出に限界があることが明らかになった。

Figure 2: Illustration of the propose MAMR mechanism. The MAMR mechanism mainly consists of a inter-motion layer, memory-augmented motion layer, and feedforward network. The inter-motion layer explores the interrelation between global motion and object motion , while the memory-augmented motion laye