[論文レビュー] A Large Scale Urban Surveillance Video Dataset for Multiple-Object Tracking and Behavior Analysis

Guojun Yin, Bin Liu+3 more|arXiv (Cornell University)|Apr 26, 2019

Video Surveillance and Tracking Methods参考文献 22被引用数 5

ひとこと要約

本論文は、7つの屋外環境にまたがる16の混雑した都市シーンを含む大規模で現実的かつ複雑なベンチマークである都市監視動画データセット（USVD）を紹介する。このデータセットには20万フレームを超えるアノテーション付きフレーム、370万個のバウンディングボックス、7,100本のトラジェクトリが含まれており、複雑で現実的な条件下での複数対象トラッキングおよび異常検出アルゴリズムの厳密な評価を可能にする。これにより、混雑した都市環境における最先端手法が直面する顕著な課題が明らかになった。

ABSTRACT

Multiple-object tracking and behavior analysis have been the essential parts of surveillance video analysis for public security and urban management. With billions of surveillance video captured all over the world, multiple-object tracking and behavior analysis by manual labor are cumbersome and cost expensive. Due to the rapid development of deep learning algorithms in recent years, automatic object tracking and behavior analysis put forward an urgent demand on a large scale well-annotated surveillance video dataset that can reflect the diverse, congested, and complicated scenarios in real applications. This paper introduces an urban surveillance video dataset (USVD) which is by far the largest and most comprehensive. The dataset consists of 16 scenes captured in 7 typical outdoor scenarios: street, crossroads, hospital entrance, school gate, park, pedestrian mall, and public square. Over 200k video frames are annotated carefully, resulting in more than 3:7 million object bounding boxes and about 7:1 thousand trajectories. We further use this dataset to evaluate the performance of typical algorithms for multiple-object tracking and anomaly behavior analysis and explore the robustness of these methods in urban congested scenarios.

研究の動機と目的

• 複数対象トラッキングおよび行動解析アルゴリズムの評価に適した大規模で現実的かつ複雑な都市監視データセットの不足を解消すること。
• 現実の都市の混雑状況、オクルージョン、多様な物体間相互作用を反映するベンチマークを提供すること。
• 困難で現実的な都市シナリオにおける既存のトラッキングおよび異常検出手法の頑健性を評価すること。
• 公共安全およびスマートシティアプリケーションのための、より正確で汎用性の高いコンピュータビジョンモデルの開発を支援すること。

提案手法

• データセットは、7つの典型的な都市の屋外シーン（通り、交差点、病院の入り口、学校の門、公園、歩行者専用モール、広場）の実際の監視カメラから収集された。
• 20万フレーム以上が、バウンディングボックス、物体カテゴリ、オクルージョンレベル、トラジェクトリIDについて手動でアノテートされた。
• 同じ速度と方向で一緒に移動する2人以上の歩行者を表すために、新たな物体クラス「グループ」が導入された。
• 複数対象トラッキング（例：TC_ODAL、SORT、IOU）および異常検出（例：HMOF、PT-HOF、SL-MHOF）のベースライン手法の評価にデータセットが使用された。
• 評価指標にはMOTA、EER、AUC、ROC曲線が含まれ、トラッキング精度および異常検出性能の評価に用いられた。
• テスト分割には10のシーケンスが含まれ、各シーケンスが200フレームで構成され、トレーニング用に10、テスト用に10が使用された。注目された行動には走る、飛ぶ、自転車をこぐなどが含まれた。

実験結果

リサーチクエスチョン

• RQ1 最先端の複数対象トラッキングアルゴリズムは、高密度およびオクルージョンが顕著な大規模で現実的な都市監視データセット上で、どのように性能を発揮するか？
• RQ2 既存の異常検出手法は、多様で曖昧な行動を含む複雑な現実の都市シーンにどの程度一般化できるか？
• RQ3 グループレベルのアノテーションを含めることで、混雑した都市環境における歩行者の相互作用のモデリングはどのように向上するか？
• RQ4 現実的で大規模な都市映像データに適用された際、現在のトラッキングおよび異常検出システムの主な失敗モードは何か？

主な発見

• USVDデータセットには16のシーン、211,706枚のアノテート済みフレーム、3,758,821個のバウンディングボックス、7,173本の固有のトラジェクトリが含まれており、これまでで最大規模かつ最も包括的な都市監視データセットである。
• SORTやIOUなどのベースライントラッキング手法は、シンプルなベンチマークと比較してUSVDでは性能が低下しており、オクルージョンや密度の高さによるこのデータセットの高い難易度が示された。
• HMOF や SL-MHOF などの異常検出手法は中程度の AUC および EER スコアを達成したが、依然として性能のギャップが存在し、現実の都市シーンにおけるレアまたは曖昧な行動の検出が困難であることが浮き彫りになった。
• 図7のROC曲線は、トップパフォーマンスの手法ですらUSVDでは高いAUCと低いEERを達成することが難しいことを示しており、データセットの現実性と難易度の高さが裏付けられた。
• グループアノテーションの導入により、集団的な歩行者運動のモデリングが密集した群衆におけるトラッキングの頑健性を向上させることを示した。これは、将来的な手法がグループレベルのダイナミクスを組み込む必要があることを示唆している。