[論文レビュー] Anomaly Detection in Video Using Predictive Convolutional Long Short-Term Memory Networks

Jefferson Ryan Medel, Andreas Savakis|arXiv (Cornell University)|Dec 1, 2016

Anomaly Detection Techniques and Applications参考文献 17被引用数 206

ひとこと要約

本論文は、限られた入力フレームからビデオシーケンスを予測するエンドツーエンドの複合Conv-LSTMネットワークを提案し、再構成誤差を用いて異常を識別する。

ABSTRACT

Automating the detection of anomalous events within long video sequences is challenging due to the ambiguity of how such events are defined. We approach the problem by learning generative models that can identify anomalies in videos using limited supervision. We propose end-to-end trainable composite Convolutional Long Short-Term Memory (Conv-LSTM) networks that are able to predict the evolution of a video sequence from a small number of input frames. Regularity scores are derived from the reconstruction errors of a set of predictions with abnormal video sequences yielding lower regularity scores as they diverge further from the actual sequence over time. The models utilize a composite structure and examine the effects of conditioning in learning more meaningful representations. The best model is chosen based on the reconstruction and prediction accuracy. The Conv-LSTM models are evaluated both qualitatively and quantitatively, demonstrating competitive results on anomaly detection datasets. Conv-LSTM units are shown to be an effective tool for modeling and predicting video sequences.

研究の動機と目的

• 限られた監視下で長いビデオシーケンスの自動異常検知を動機づける。
• 少数フレームからビデオの進展を予測する生成的で学習可能なモデルを開発する。
• 条件付けと複合Conv-LSTM構造が学習表現に与える影響を調査する。
• 異常検知のために予測的アプローチと再構成的アプローチを比較する。
• Conv-LSTMユニットがビデオシーケンスを効果的にモデル化し予測できることを示す。

提案手法

• 小さな入力フレーム集合から将来のビデオフレームを予測するエンドツーエンドで訓練可能な複合Conv-LSTMネットワークを設計する。
• 複数の予測にわたる再構成誤差を活用して、シーケンスの規則性スコアを導出する。
• Conv-LSTMフレームワーク内の条件付け戦略を探求して、より意味のある表現を学習する。
• 異常データセットでの再構成と予測精度に基づいて最良のモデルを選択する。
• モデルを質的および量的に評価して競争力のある性能を示す。

実験結果

リサーチクエスチョン

• RQ1 予測的Conv-LSTMネットワークは限られたフレームからビデオの進展を信頼性高く予測できるか？
• RQ2 条件付けと複合アーキテクチャは異常検知の学習表現にどのような影響を与えるか？
• RQ3 再構成ベースの規則性スコアはビデオシーケンスの異常イベントと相関するか？
• RQ4 標準データセット上で予測モデルは既存の異常検知手法と競合できるか？

主な発見

• Conv-LSTMネットワークは異常検知のためのビデオシーケンスを効果的にモデル化し予測できる。
• 予測全体にわたる再構成誤差は、正常なシーケンスと異常なシーケンスを区別する規則性スコアを生み出す。
• Conv-LSTM内の複合的な条件付けは、異常検知に関連する表現学習を改善する。
• 質的・量的評価は、異常検知データセットで競争力のある結果を示す。