[論文レビュー] Abnormal Event Detection in Urban Surveillance Videos Using GAN and Transfer Learning

Ali Atghaei, Soroush Ziaeinejad+1 more|arXiv (Cornell University)|Nov 19, 2020

Anomaly Detection Techniques and Applications参考文献 14被引用数 5

ひとこと要約

本稿では、事前学習されたVGG16と光流動解析を活用して、空間的・時間的外見および運動特徴を統合的にモデル化する、GANベースの都市監視映像における異常イベント検出手法を提案する。本手法は、UCSD Peds1で14%のフレームレベルEERと93%のAUC、UCSD Peds2で15%のフレームレベルEERと17%のピクセルレベルEERを達成し、群衆シーンにおける異常イベントの検出および局所化において優れた精度と効率性を示した。

ABSTRACT

Abnormal event detection (AED) in urban surveillance videos has multiple challenges. Unlike other computer vision problems, the AED is not solely dependent on the content of frames. It also depends on the appearance of the objects and their movements in the scene. Various methods have been proposed to address the AED problem. Among those, deep learning based methods show the best results. This paper is based on deep learning methods and provides an effective way to detect and locate abnormal events in videos by handling spatio temporal data. This paper uses generative adversarial networks (GANs) and performs transfer learning algorithms on pre trained convolutional neural network (CNN) which result in an accurate and efficient model. The efficiency of the model is further improved by processing the optical flow information of the video. This paper runs experiments on two benchmark datasets for AED problem (UCSD Peds1 and UCSD Peds2) and compares the results with other previous methods. The comparisons are based on various criteria such as area under curve (AUC) and true positive rate (TPR). Experimental results show that the proposed method can effectively detect and locate abnormal events in crowd scenes.

研究の動機と目的

• 異常性が主観的で文脈依存的である都市監視映像における異常イベント検出（AED）の課題に対処すること。
• 手作業で特徴を抽出する従来の手法が、オクルージョン、透視変形、高い時間計算量の問題を抱えることの制限を克服すること。
• 空間的・時間的動画データにおける外見および運動パターンを効果的にモデル化する、効率的なディーブラーニングベースのAEDシステムを開発すること。
• 特徴抽出に事前学習済みVGG16ネットワークを用いることで、転移学習を適用し、学習時間を短縮するとともにモデルの効率性を向上させること。
• 生成的対抗ネットワークと光流動に基づく運動解析を統合することで、フレームレベルおよびピクセルレベルの両方で高い検出精度を達成すること。

提案手法

• 2ストリームアプローチを採用：1本目のストリームは、転移学習を用いて事前学習済みVGG16ネットワークでRGBフレームを処理し、外見特徴を抽出する。
• 2本目のストリームは、光流動画像を抽出して運動ダイナミクスをモデル化し、その後3次元空間的・時間的表現に変換する。
• 生成的対抗ネットワーク（GAN）を採用し、事前学習済みVGG16の特徴を用いてディスクラミネーターを微調整することで、正常な動画パターンを学習する。
• グリッドベースの空間的・時間的パッチ分割戦略を採用し、動画フレームを固定サイズの3次元パッチに分割して、局所的異常検出を実現する。
• 正常な動画シーケンス上でGANを教師なしに学習させ、正常および異常な空間的・時間的パターンを区別する能力を学習する。
• GANの生成器の再構成誤差とディスクラミネーターの信頼度を組み合わせて、異常フレームおよび異常ピクセルを特定する。

実験結果

リサーチクエスチョン

• RQ1 空間的・時間的外見および運動特徴を統合的にモデル化することで、GANベースのモデルは都市監視映像における異常イベントを効果的に検出できるか？
• RQ2 事前学習済みVGG16ネットワークからの転移学習は、教師なし設定における異常イベント検出の効率性と性能をどのように向上させるか？
• RQ3 光流動に基づく運動解析を組み込むことで、高速または低速の運動のような異常な動きの検出はどの程度向上するか？
• RQ4 ベンチマークデータセット上で、AUC、EER、計算効率の観点から、本手法は最先端の手法と比較してどの程度優れているか？
• RQ5 本手法は、低インフェレンス時間も維持しながら、フレームレベルおよびピクセルレベルの両方で高い精度の異常局所化を達成できるか？

主な発見

• 提案手法はUCSD Peds1データセットでフレームレベルEERが14%、AUCが93%を達成し、MDT（25% EER、81% AUC）やAMDN（16% EER、92% AUC）といった先行手法を上回った。
• より困難なUCSD Peds2データセットでは、フレームレベルEERが15%、ピクセルレベルEERが17%を達成し、MDT（24%および54%）やAMDN（16%および42%）を顕著に上回った。
• ピクセルレベルの評価においても優れた性能を示し、UCSD Peds1ではAUCが73%、UCSD Peds2ではEERが17%を記録した。これは、優れた局所化精度を示している。
• VGG16からの転移学習の活用により、学習時間を短縮し収束性が向上し、完全な再学習なしに効率的な特徴抽出が可能になった。
• 標準的な個人用PC上での1フレームあたりの平均インフェレンス時間は0.312秒であり、分類処理が最も時間がかかっており（0.290秒）、GPUアクセラレーションによりリアルタイム展開が可能である。
• 外見と運動のモデル統合により、オクルージョンや透視変形の厳しい条件下でも、高速なスケーター、カート、低速の自転車乗りなど多様な異常行動を効果的に検出できた。