[論文レビュー] Robust Unsupervised Video Anomaly Detection by Multi-Path Frame Prediction

Xuanzhao Wang, Zhengping Che+7 more|arXiv (Cornell University)|Nov 5, 2020

Anomaly Detection Techniques and Applications参考文献 62被引用数 11

ひとこと要約

本論文では、マルチパスConvGRUベースのフレーム予測ネットワークを用いた、ノイズ耐性損失を組み合わせた、ロバストな教師なし動画異常検出手法ROADMAPを提案する。この手法は、マルチスケールの空間時系列特徴を捉え、背景ノイズの影響を低減する。CUHK Avenueデータセットにおいて、フレームレベルのAUROCが88.3%に達し、最先端の手法を上回る性能を示した。

ABSTRACT

Video anomaly detection is commonly used in many applications such as security surveillance and is very challenging.A majority of recent video anomaly detection approaches utilize deep reconstruction models, but their performance is often suboptimal because of insufficient reconstruction error differences between normal and abnormal video frames in practice. Meanwhile, frame prediction-based anomaly detection methods have shown promising performance. In this paper, we propose a novel and robust unsupervised video anomaly detection method by frame prediction with proper design which is more in line with the characteristics of surveillance videos. The proposed method is equipped with a multi-path ConvGRU-based frame prediction network that can better handle semantically informative objects and areas of different scales and capture spatial-temporal dependencies in normal videos. A noise tolerance loss is introduced during training to mitigate the interference caused by background noise. Extensive experiments have been conducted on the CUHK Avenue, ShanghaiTech Campus, and UCSD Pedestrian datasets, and the results show that our proposed method outperforms existing state-of-the-art approaches. Remarkably, our proposed method obtains the frame-level AUROC score of 88.3% on the CUHK Avenue dataset.

研究の動機と目的

• 異常が稀でラベルが付与されていない監視環境における教師なし動画異常検出の課題に対処すること。
• 再構成ベースの手法が、正常と異常フレームの再構成誤差の差が不十分であるため、区別に失敗する問題を改善すること。
• 複雑な空間時系列依存関係をモデル化し、ノイズの干渉を低減することで、予測ベースの手法を向上させること。
• 入力サイズ、フレーム数、リアルタイム推論制約の変動に強い手法を開発すること。

提案手法

• 本手法は、複数の解像度およびオブジェクトスケールで空間時系列依存関係を捉えるために、非局所ブロックを組み合わせたマルチパスConvGRUアーキテクチャを採用する。
• 各パスは異なるスケールの特徴マップを処理し、意味的に意味のあるオブジェクトおよび背景の一貫性を効果的にモデル化できる。
• 訓練中に、ランダムなピクセルレベルのノイズが予測精度に与える影響を低減するため、新しいノイズ耐性損失を導入する。
• モデルは正常な動画フレームのみで訓練され、フレーム予測誤差を通じて教師なし異常検出が可能になる。
• 隠れ状態を複数フレームにわたって再利用することで、計算時間を削減し、性能の著しい低下を伴わずに効率的な推論を実現する。
• ハイパーパramータのアブレーションスタディにより、速度と精度のトレードオフを最適化するため、入力フレーム数（P=8）、入力サイズ（256×256）、予測長（Q）を決定した。

実験結果

リサーチクエスチョン

• RQ1 マルチパスフレーム予測ネットワークは、単一パスまたは再構成ベースのモデルに比べて、監視動画における空間時系列ダイナミクスをよりよくモデル化できるか？
• RQ2 ノイズ耐性損失を導入することで、背景ノイズが存在する状況下での異常検出のロバスト性がどのように向上するか？
• RQ3 リアルタイムデプロイメントを考慮した場合、入力フレーム数、入力解像度、推論速度の最適なバランスは何か？
• RQ4 隠れ状態の再利用は、検出性能の低下を伴わず、推論効率をどの程度向上できるか？

主な発見

• 提案手法は、CUHK Avenueデータセットにおいて、フレームレベルのAUROCが88.3%に達し、既存の最先端手法を上回った。
• P=8の入力フレーム数が、精度と推論速度の最良のトレードオフをもたらし、1フレームあたり約109 msの実行時間となった。
• Q=24フレームにわたって予測を再利用することで、AvenueでのAUROCは87.5%を維持し、32.2 fpsを達成し、リアルタイム要件を満たした。
• 入力サイズを128×128に縮小すると、AvenueでのAUROCが6.0ポイント低下し、解像度に敏感であることが示された。
• 入力サイズを384×384に拡大すると、推論時間が2倍に増加し、AvenueでのAUROCが1.0ポイント低下した。これは、利得の逓減を示している。
• ノイズ耐性損失は、特にピクセルレベルのフラクチュエーションによる誤検出（ファルスポジティブ）を低減することで、ロバスト性を顕著に向上させた。