[论文解读] A Hybrid Video Anomaly Detection Framework via Memory-Augmented Flow Reconstruction and Flow-Guided Frame Prediction

Zhian Liu, Yongwei Nie+3 more|arXiv (Cornell University)|Aug 16, 2021

Anomaly Detection Techniques and Applications参考文献 46被引用 16

一句话总结

本文提出 HF²-VAD，一种混合视频异常检测框架，通过首先使用多层级记忆增强自编码器（带跳跃连接）进行光流重建（ML-MemAE-SC），然后利用重建后的光流作为条件输入到条件变分自编码器（CVAE）中以预测未来帧，从而提升异常检测性能。该方法在 UCSD Ped2 数据集上实现了 99.31% 的 AUROC，达到当前最先进水平，通过在光流重建质量下降时放大异常事件的预测误差来实现。

ABSTRACT

In this paper, we propose $ ext{HF}^2$-VAD, a Hybrid framework that integrates Flow reconstruction and Frame prediction seamlessly to handle Video Anomaly Detection. Firstly, we design the network of ML-MemAE-SC (Multi-Level Memory modules in an Autoencoder with Skip Connections) to memorize normal patterns for optical flow reconstruction so that abnormal events can be sensitively identified with larger flow reconstruction errors. More importantly, conditioned on the reconstructed flows, we then employ a Conditional Variational Autoencoder (CVAE), which captures the high correlation between video frame and optical flow, to predict the next frame given several previous frames. By CVAE, the quality of flow reconstruction essentially influences that of frame prediction. Therefore, poorly reconstructed optical flows of abnormal events further deteriorate the quality of the final predicted future frame, making the anomalies more detectable. Experimental results demonstrate the effectiveness of the proposed method. Code is available at \href{https://github.com/LiUzHiAn/hf2vad}{https://github.com/LiUzHiAn/hf2vad}.

研究动机与目标

• 解决在标注异常稀少的情况下，检测罕见且无界异常事件的挑战。
• 通过在统一且协同的框架中结合光流重建与帧预测，提升异常检测性能。
• 通过利用光流重建误差来放大异常事件的预测误差，增强检测灵敏度。
• 设计一种记忆增强架构，以更好地记忆光流中的正常时空模式，从而提升重建保真度。

提出的方法

• ML-MemAE-SC 网络在不同特征层级使用多个记忆模块，以记忆正常光流模式，从而提升正常事件的重建质量。
• 在编码器与解码器模块之间引入跳跃连接，以缓解因记忆压缩导致的信息丢失。
• 在将光流输入 CVAE 驱动的未来帧预测模型前，先使用 ML-MemAE-SC 进行光流重建。
• CVAE 基于历史帧和重建光流预测未来帧，利用帧与光流之间的一致性，提升预测准确性。
• 异常分数通过光流重建误差与帧预测误差之和计算，误差越高表示越可能是异常事件。
• 模型仅使用正常视频数据进行端到端训练，通过重建损失与预测损失学习正常动态。

实验结果

研究问题

• RQ1 结合光流重建与光流引导帧预测的混合框架，是否能超越单一重建或预测方法，在视频异常检测中实现更优性能？
• RQ2 记忆增强的光流重建如何通过增加重建误差来提升异常事件的检测能力？
• RQ3 使用重建光流而非原始光流，能在多大程度上提升帧预测的质量与异常检测的灵敏度？
• RQ4 多层级记忆模块与跳跃连接在提升光流重建与下游预测性能方面分别起到何种作用？

主要发现

• 在 UCSD Ped2 数据集上，完整 HF²-VAD 模型实现了 99.31% 的 AUROC，优于所有消融实验变体与当前最先进基线方法。
• 消融实验表明，采用三个记忆模块的 ML-MemAE-SC 与 CVAE 进行预测的组合性能最高，证实了混合设计的有效性。
• 仅使用重建的模型在使用 ML-MemAE-SC（3 个记忆模块）时达到 98.81% 的 AUROC，表明仅通过光流重建即可实现强大的异常敏感性。
• 仅使用预测的模型在 CVAE 配合重建光流时达到 98.28% 的 AUROC，显著优于无光流条件的 VAE 预测方法。
• 失败案例分析显示，绝对光流值较低的远距离物体更难检测，表明未来需引入深度感知建模以进一步优化。
• 该模型推理速度约为每秒 10 帧，单帧推理耗时 0.015 秒，适用于实时应用。