[论文解读] Anomaly Detection in Video Using Predictive Convolutional Long Short-Term Memory Networks

Jefferson Ryan Medel, Andreas Savakis|arXiv (Cornell University)|Dec 1, 2016

Anomaly Detection Techniques and Applications参考文献 17被引用 206

一句话总结

论文提出端到端的复合 Conv-LSTM 网络，能够从有限输入帧预测视频序列，并利用重建误差来识别异常。

ABSTRACT

Automating the detection of anomalous events within long video sequences is challenging due to the ambiguity of how such events are defined. We approach the problem by learning generative models that can identify anomalies in videos using limited supervision. We propose end-to-end trainable composite Convolutional Long Short-Term Memory (Conv-LSTM) networks that are able to predict the evolution of a video sequence from a small number of input frames. Regularity scores are derived from the reconstruction errors of a set of predictions with abnormal video sequences yielding lower regularity scores as they diverge further from the actual sequence over time. The models utilize a composite structure and examine the effects of conditioning in learning more meaningful representations. The best model is chosen based on the reconstruction and prediction accuracy. The Conv-LSTM models are evaluated both qualitatively and quantitatively, demonstrating competitive results on anomaly detection datasets. Conv-LSTM units are shown to be an effective tool for modeling and predicting video sequences.

研究动机与目标

• 在有限监督下推动对长视频序列的自动异常检测。
• 开发可生成、可学习的模型，能够从少量帧预测视频演变。
• 研究条件化和复合 Conv-LSTM 结构如何影响学习到的表示。
• 比较预测方法与重建方法在检测异常方面的效果。
• 证明 Conv-LSTM 单元能够有效建模并预测视频序列。

提出的方法

• 设计端到端可训练的复合 Conv-LSTM 网络，从少量输入帧预测未来的视频帧。
• 利用多次预测的重建误差来推导序列的规律性分数。
• 在 Conv-LSTM 框架内探索条件化策略，以学习更有意义的表示。
• 基于在异常数据集上的重建和预测准确性来选择最佳模型。
• 进行定性与定量评估，以展示具备竞争力的性能。

实验结果

研究问题

• RQ1 预测性 Conv-LSTM 网络是否能够从有限帧可靠地预测视频演变？
• RQ2 条件化与复合体系结构如何影响用于异常检测的学习表示？
• RQ3 基于重建的规律性分数是否与视频序列中的异常事件相关？
• RQ4 在标准数据集上，预测模型是否与现有的异常检测方法具有竞争力？

主要发现

• Conv-LSTM 网络能够有效地建模和预测用于异常检测的视频序列。
• 跨预测的重建误差产生规律性分数，区分正常序列和异常序列。
• 在 Conv-LSTM 内部的复合条件化提升了与异常检测相关的表示学习。
• 定性与定量评估在异常检测数据集上显示出竞争力的结果。