[論文レビュー] Future Frame Prediction Using Convolutional VRNN for Anomaly Detection

Yiwei Lu, Mahesh Kumar Krishna Reddy+2 more|arXiv (Cornell University)|Sep 5, 2019

Anomaly Detection Techniques and Applications参考文献 32被引用数 11

ひとこと要約

本稿では、VAEフレームワーク内でのConvLSTMを用いた時系列モデリングにより、異常検出のための将来の動画フレームを予測する、畳み込み型可変オートエンコーダー再帰型ニューラルネットワーク（Conv-VRNN）を提案する。本手法は、光流を用いないにもかかわらず、3つのベンチマークデータセットで最先端の手法を上回り、Ped1で86.26%、Ped2で96.06%、Avenueで85.78%のAUCスコアを達成した。

ABSTRACT

Anomaly detection in videos aims at reporting anything that does not conform the normal behaviour or distribution. However, due to the sparsity of abnormal video clips in real life, collecting annotated data for supervised learning is exceptionally cumbersome. Inspired by the practicability of generative models for semi-supervised learning, we propose a novel sequential generative model based on variational autoencoder (VAE) for future frame prediction with convolutional LSTM (ConvLSTM). To the best of our knowledge, this is the first work that considers temporal information in future frame prediction based anomaly detection framework from the model perspective. Our experiments demonstrate that our approach is superior to the state-of-the-art methods on three benchmark datasets.

研究の動機と目的

• 動画監視における希少かつ不均衡な異常データの課題に対処するため、人為的異常アノテーションを必要としない半教師あり異常検出を実現すること。
• 再帰構造を用いて時系列依存性を明示的にモデリングすることで、フレームを静的入力として扱う従来手法の限界を克服し、動画の将来フレーム予測を改善すること。
• エンド・トゥ・エンド学習により、正常な動画シーケンスの分布を学習する生成モデルを開発し、再構成ベースの異常検出を可能にすること。
• RNNを用いて時系列ダイナミクスを明示的にモデリングすることは、光流などの補助的運動特徴に依存するよりも効果的であるかを検証すること。

提案手法

• 入力フレームのシーケンスから時系列特徴を抽出し、潜在空間にマッピングするため、ConvLSTMベースのエンコーダーを用いる。
• 不確実性をモデル化するための確率的ボトルネックを備えたVAEフレームワークを採用し、将来フレームの生成的モデリングを可能にする。
• 潜在表現から将来フレームを再構成するため、逆畳み込みを用いたデコーダーを適用し、エンド・トゥ・エンド学習を可能にする。
• 複数の損失関数を最適化する：ピクセルレベル再構成のためのL1損失、構造的類似性のためのMSSSIM、エッジおよびテクスチャの保存のためのGDL（勾配差分損失）。
• RNN（ConvLSTM）をVAEアーキテクチャに直接統合し、長距離時系列依存性をモデル化することで、静的フレームエンコーダーに比べて予測品質を向上させる。
• 予測された将来フレームと実際のフレームとの再構成誤差を異常スコアとして用いる。誤差が大きいほど、異常行動であると判断する。

実験結果

リサーチクエスチョン

• RQ1 時系列ダイナミクスを明示的にモデリングする順序的生成モデルは、非再帰的モデルと比較して、動画異常検出のための将来フレーム予測を改善できるか？
• RQ2 光流や静的フレーム再構成を用いる最先端手法と比較して、Conv-VRNNの性能はどの程度か？
• RQ3 L1、MSSSIM、GDLの複数の損失成分を組み合わせることで、再構成の忠実性が向上し、異常検出性能が改善されるか？
• RQ4 RNNを用いて内在的に運動を捉えるモデルを設計することで、光流特徴に依存せずに最先端の性能を達成することは可能か？

主な発見

• 提案されたConv-VRNNはPed1データセットで86.26%のAUCを達成し、最良のベースライン（光流を用いたConv-VAE）を5.11ポイント上回った。
• Ped2データセットでは96.06%のAUCを達成し、次に良い手法（光流を用いたConv-VAE）の89.52%を大きく上回った。
• Avenueデータセットでは85.78%のAUCを達成し、光流を用いた最先端手法を3.55ポイント上回った。
• アブレーションスタディの結果、RNNベースの時系列モデリングを備えたConv-VRNNは、RNNを搭載しないConv-VAEバージョン（Ped1で86.26% 対 82.42%）を上回り、再帰的モデリングの重要性を確認した。
• L1、MSSSIM、GDL損失の組み合わせが最良のパフォーマンス（Ped1で86.26% AUC）をもたらし、マルチスケールの構造的および勾配制約が再構成品質を向上させることを示した。
• 光流特徴を一切使用しないにもかかわらず、光流を学習制約として用いるConv-VAEモデルを上回った。これは、エンド・トゥ・エンドの時系列モデリングが、補助的運動特徴よりも効果的であることを示している。