[論文レビュー] When, Where, and What? A New Dataset for Anomaly Detection in Driving Videos

Yu Yao, Xizi Wang+4 more|arXiv (Cornell University)|Apr 6, 2020

Anomaly Detection Techniques and Applications参考文献 46被引用数 38

ひとこと要約

DoTAデータセットを egocentric traffic video anomaly detection に導入し、時空間・カテゴリ注釈、および VAD性能をより適切に評価する STAUC という時空間評価指標を提案します。

ABSTRACT

Video anomaly detection (VAD) has been extensively studied. However, research on egocentric traffic videos with dynamic scenes lacks large-scale benchmark datasets as well as effective evaluation metrics. This paper proposes traffic anomaly detection with a extit{when-where-what} pipeline to detect, localize, and recognize anomalous events from egocentric videos. We introduce a new dataset called Detection of Traffic Anomaly (DoTA) containing 4,677 videos with temporal, spatial, and categorical annotations. A new spatial-temporal area under curve (STAUC) evaluation metric is proposed and used with DoTA. State-of-the-art methods are benchmarked for two VAD-related tasks.Experimental results show STAUC is an effective VAD metric. To our knowledge, DoTA is the largest traffic anomaly dataset to-date and is the first supporting traffic anomaly studies across when-where-what perspectives. Our code and dataset can be found in: https://github.com/MoonBlvd/Detection-of-Traffic-Anomaly

研究の動機と目的

• 異常の when-where-what 分析を支援する大規模な ego-centric 交通ビデオデータセットを提供する。
• 運転異常のための豊富な時系列、空間、およびカテゴリ注釈を導入する。
• 異常の時空間局在化を評価する STAUC 指標を提案する。
• DoTAデータセット上で既存の VAD および VAR 手法をベンチマークしてベースラインを確立する。
• フレームレベルの表現とオブジェクト中心の手がかりを組み合わせたアンサンブル手法の利点を調査する。

提案手法

• 注釈のために解像度1280x720で4,677本の動画を用いたデータセット構築と10 fpsでの抽出。
• 異常タイプ（ego/non-ego分割後の18カテゴリ）、時系列の開始/終了、および各フレームの異常オブジェクトトラックレットを含む豊富な注釈。
• When-Where-What パイプラインの定義と、VADをフレームごとの異常スコアとオブジェクトごとの異常スコアを予測することとして位置づける。
• STAUC, AUCの時空間拡張で、真陽性を注釈された異常領域との重なりで加重する。
• DoTA上での教師なしフレームレベル、教師なしオブジェクト中心、および教師付きVAD手法のベンチマーク。
• VAR手法（C3D、I3D、R3D、MC3D、R(2+1)D、TSN、SlowFast）のDoTA上でのベンチマーク。

実験結果

リサーチクエスチョン

• RQ1 大規模な ego-centric 運転ビデオデータセットは包括的な when-where-what 異常分析をサポートできるか？
• RQ2 STAUC 指標は driving videos の VAD において AUC より情報量の多い評価指標となるか？
• RQ3 DoTA上で最先端のVAD手法はAUCとSTAUCの両方の指標でどう性能を示すか？
• RQ4 運転異常に対するVAR手法の性能と課題は何か？
• RQ5 フレームレベルの外観とオブジェクト中心の手がかりを組み合わせることで、アンサンブル学習はVAD性能を向上させるか？

主な発見

• DoTAは時系列・空間・カテゴリ注釈を持つ when-where-what 分析のためのこれまでで最大の交通異常データセットである。
• STAUCは一般的にAUCを上回り、異常領域の局在化がより良いことを示している。
• フレームレベルとオブジェクト中心の手がかりを組み合わせたアンサンブル手法が、テストしたVAD手法の中で最良のAUCとSTAUCを達成している。
• 教師ありVARモデルはVADの教師なしよりAUCが高いが、DoTAでのVAR全体の精度は依然として難しく、クラスごとの差が顕著。
• フレームレベルおよびオブジェクト中心のVAD手法は互いに部分的に補完でき、前景中心のバリエーションが空間的局在化を向上させる。
• DoTAのベンチマークは交通異常理解が依然として難しいことを示しており、さらなる研究を促している。