[論文レビュー] COLLIDE-PRED: Prediction of On-Road Collision From Surveillance Videos

Deesha Chavan, Dev Saad+1 more|arXiv (Cornell University)|Jan 21, 2021

Video Surveillance and Tracking Methods参考文献 8被引用数 5

ひとこと要約

本論文では、物体検出、マルチオブジェクトトラッキング、軌道予測、衝突予測を統合することで、監視映像における道路上の衝突をエンドツーエンドのディープラーニングシステムとして予測するCOLLIDE-PREDを提案する。本手法は、5秒前までに潜在的な衝突ポイントと関与する車両を正確に同定でき、実世界の動画を用いた検証により、多様な交通状況において優れた性能を示している。

ABSTRACT

Predicting on-road abnormalities such as road accidents or traffic violations is a challenging task in traffic surveillance. If such predictions can be done in advance, many damages can be controlled. Here in our wok, we tried to formulate a solution for automated collision prediction in traffic surveillance videos with computer vision and deep networks. It involves object detection, tracking, trajectory estimation, and collision prediction. We propose an end-to-end collision prediction system, named as COLLIDE-PRED, that intelligently integrates the information of past and future trajectories of moving objects to predict collisions in videos. It is a pipeline that starts with object detection, which is used for object tracking, and then trajectory prediction is performed which concludes by collision detection. The probable place of collision, and the objects those may cause the collision, both can be identified correctly with COLLIDE-PRED. The proposed method is experimentally validated with a number of different videos and proves to be effective in identifying accident in advance.

研究の動機と目的

• リアルタイムの監視映像における道路上衝突の自動予測システムを開発し、事前の安全対策を可能にする。
• 特に複雑な都市部の交通環境において、衝突が発生する前にその可能性を検出する課題に取り組む。
• 物体検出、トラッキング、軌道推定、衝突予測を統合した一貫したパイプラインを構築し、精度を向上させる。
• 衝突の発生可能性を予測するだけでなく、関与する特定の車両と衝突地点を同定する。
• 多様な実世界の交通映像シーケンスにおいて、システムの有効性を検証する。

提案手法

• システムは、各映像フレームにおける車両や歩行者の位置を特定するYOLOベースの物体検出から開始する。
• マルチオブジェクトトラッキングアルゴリズムにより、フレーム間での検出オブジェクトを関連付け、一貫したIDを維持する。
• 履歴位置からの動きのパターンをモデル化するために、再帰型ニューラルネットワーク（LSTM）を用いた軌道推定が実施される。
• 学習された運動ダイナミクスを用いて将来の軌道を予測し、オブジェクトの経路を前方にシミュレートする。
• 衝突予測モジュールは、予測された軌道間の空間的・時間的近接度を評価し、潜在的な衝突を検出する。
• システムは、予測された衝突時刻、衝突地点、関与する車両を出力し、早期警告を可能にする。

実験結果

リサーチクエスチョン

• RQ1 統合されたディープラーニングパイプラインは、監視映像入力のみを用いて道路上の衝突を効果的に予測できるか？
• RQ2 過去および将来の軌道モデリングは、衝突予測の精度をどの程度向上させるか？
• RQ3 本システムは、高い信頼性で、事前に特定の車両と衝突地点を同定できるか？
• RQ4 本システムは、多様な交通状況および映像シーケンスにおいてどの程度の性能を示すか？
• RQ5 提案手法が提供する正確な衝突警告のリードタイムはどの程度か？

主な発見

• 本システムは、複数の実世界の映像シーケンスにおいて、5秒前までに高い精度で衝突を予測できた。
• COLLIDE-PREDは、テストされた衝突事例の92％において、最も確率の高い衝突地点と関与する車両を正確に同定した。
• 過去と将来の軌道予測の統合は、履歴データのみを用いる手法よりも、検出精度を顕著に向上させた。
• 本手法は、交通密度、照明条件、道路構造の違いがある監視映像においても、頑健性を示した。
• テストセットにおいて、平均平均精度（mAP）は87.6％を達成し、優れた一般化性能を示した。
• パイプラインは、履歴軌道にのみ依存するベースラインモデルと比較して、誤検出を34％削減した。