[論文レビュー] Agent-Centric Risk Assessment: Accident Anticipation and Risky Region Localization

Kuo-Hao Zeng, Shih-Han Chou+3 more|arXiv (Cornell University)|May 18, 2017

Anomaly Detection Techniques and Applications参考文献 31被引用数 3

ひとこと要約

本稿では、動的パラメータ予測とソフトアテンションRNNを組み合わせることで、事故の予測と動画内の危険領域の特定を可能にする、新しいエージェント中心のリスク評価フレームワークを提案する。エージェントと環境間の空間的および外観的相互作用をモデル化し、RNNを用いた軌跡の想像による長期的リスク予測を実現することで、新しく導入されたEpic FailおよびStreet Accidentデータセットにおいて、事故予測および危険領域特定の両タスクで最先端の性能を達成した。

ABSTRACT

For survival, a living agent must have the ability to assess risk (1) by temporally anticipating accidents before they occur, and (2) by spatially localizing risky regions in the environment to move away from threats. In this paper, we take an agent-centric approach to study the accident anticipation and risky region localization tasks. We propose a novel soft-attention Recurrent Neural Network (RNN) which explicitly models both spatial and appearance-wise non-linear interaction between the agent triggering the event and another agent or static-region involved. In order to test our proposed method, we introduce the Epic Fail (EF) dataset consisting of 3000 viral videos capturing various accidents. In the experiments, we evaluate the risk assessment accuracy both in the temporal domain (accident anticipation) and spatial domain (risky region localization) on our EF dataset and the Street Accident (SA) dataset. Our method consistently outperforms other baselines on both datasets.

研究の動機と目的

• 過去および現在の行動を分析することで、エージェントが事故を発生させる前に予測できるコンピュータビジョンフレームワークの開発。
• エージェントと環境の相互作用に基づき、事故が発生する可能性がある空間的領域を特定すること。
• リスクイベントの背後にある複雑な時空間的依存関係および因果関係を、ディープラーニングによってモデル化すること。
• 視覚的動画理解におけるエージェント中心のリスク評価のための新しいベンチマークデータセット、Epic Failの導入。
• エージェントの将来の軌跡を生成・評価することで、長期的リスク予測を可能にすること。

提案手法

• 本手法は、時間経過に伴うエージェント行動を分散表現として符号化するために、ソフトアテンションRNNを採用する。
• エージェントと候補となる危険領域との間の相対的な空間的関係および関連する外観的特徴をモデル化するため、動的パラメータ予測層を導入する。
• エージェント表現を処理するための第二のRNNを用い、時間経過に伴う事故予測確率を予測する。
• 将来の軌跡は、RNNの生成機能を用いて想像され、その後モデルにフィードバックされて長期的リスク評価が行われる。
• 候補となる危険領域の提案にはFaster R-CNNを活用し、その後動的パラメータ層を用いてスコアリングが行われる。
• 事故予測および危険領域特定の両タスクに対して、エンドツーエンドで最適化されるようにフレームワークを訓練する。

実験結果

リサーチクエスチョン

• RQ1 ディープラーニングモデルは、動画内のエージェント行動を分析することで、事故が発生する前にそれを効果的に予測できるか？
• RQ2 モデルは、将来的に事故に巻き込まれる可能性があるシーン内の空間的領域を正確に特定できるか？
• RQ3 エージェントと環境的領域との間の相対的な空間的および外観的相互作用をどのようにモデル化すれば、リスク評価の精度が向上するか？
• RQ4 想像された将来の軌跡は、長期的リスク予測性能をどの程度向上させることができるか？
• RQ5 本手法で提案された動的パラメータ予測機構は、ハードアテンションやプーリングベースの代替手法に比べて、リスクモデリングにおいてどの程度優れているか？

主な発見

• 提案手法L-RAIは、Epic Failデータセットで15.1%のmAP、Street Accidentデータセットで45.4%のmAPを達成し、すべてのベースラインを上回った。
• メモリと軌跡の想像を追加することで、mAPおよびATTA指標が顕著に向上し、長期的時系列モデリングの利点が示された。
• L-R*CNNはハードアテンションを備えた強力なベースラインであるが、EFでは1.1% mAP、SAでは1.8% mAPの上回り、L-RAIが優位であった。
• 動的パラメータ予測層は、ソーシャルプール（SP）および動的空間アテンション（DSA）を上回り、エージェント・リージョン相互作用のモデル化における有効性が裏付けられた。
• モデルは優れた汎化性能を示し、車両やバーなど多様な危険領域を正しく特定した。また、失敗ケースではインフレータブルプールを潜在的なリスクとして適切に特定した。
• オラクル性能はEFで75.7% mAP、SAで92.8% mAPに達しており、現在のモデルが上限からまだ大きく離れていることが示され、さらなる改善の余地があることがわかった。