[论文解读] Discriminative-Generative Dual Memory Video Anomaly Detection

Xin Guo, Zhongming Jin+6 more|arXiv (Cornell University)|Apr 29, 2021

Anomaly Detection Techniques and Applications参考文献 35被引用 4

一句话总结

本文提出 DREAM，一种用于视频异常检测的判别-生成双记忆模型，通过使用两个判别器来收紧正常特征边界，并利用生成器进行未来帧预测，以解决数据不平衡问题。一种新颖的双记忆模块分别存储正常与异常原型，实现从少量异常样本中有效学习，并在四个基准数据集上实现最先进性能，且无需额外参数。

ABSTRACT

Recently, people tried to use a few anomalies for video anomaly detection (VAD) instead of only normal data during the training process. A side effect of data imbalance occurs when a few abnormal data face a vast number of normal data. The latest VAD works use triplet loss or data re-sampling strategy to lessen this problem. However, there is still no elaborately designed structure for discriminative VAD with a few anomalies. In this paper, we propose a DiscRiminative-gEnerative duAl Memory (DREAM) anomaly detection model to take advantage of a few anomalies and solve data imbalance. We use two shallow discriminators to tighten the normal feature distribution boundary along with a generator for the next frame prediction. Further, we propose a dual memory module to obtain a sparse feature representation in both normality and abnormality space. As a result, DREAM not only solves the data imbalance problem but also learn a reasonable feature space. Further theoretical analysis shows that our DREAM also works for the unknown anomalies. Comparing with the previous methods on UCSD Ped1, UCSD Ped2, CUHK Avenue, and ShanghaiTech, our model outperforms all the baselines with no extra parameters. The ablation study demonstrates the effectiveness of our dual memory module and discriminative-generative network.

研究动机与目标

• 解决在大量正常数据中仅存在少量异常样本的视频异常检测中的数据不平衡问题。
• 设计专用架构，显式利用少数异常样本的独特性以实现更好的特征判别。
• 通过双记忆机制学习更鲁棒且解耦的正常与异常模式特征空间。
• 通过增强特征判别性，提升对未知异常类型的泛化能力。

提出的方法

• 模型采用两个浅层判别器，以收紧正常特征分布的边界，提升判别能力。
• 使用帧预测生成器学习时序动态，以重建误差作为异常指标。
• 双记忆模块维护独立的正常与异常记忆库，分别更新，以防止正常数据主导。
• 通过L2距离将输入片段的查询向量与两个记忆库进行比较，计算异常分数。
• 模型采用基于比率的评分机制：r_normal = sum(d(U^N, M^N)) / sum(d(U^N, M^A)) 和 r_abnormal = sum(d(U^A, M^A)) / sum(d(U^A, M^N))，以区分正常与异常片段。
• 记忆更新规则确保即使异常样本稀少，也能有效记忆正常与异常模式。

实验结果

研究问题

• RQ1 双记忆结构能否在仅有少量异常样本的情况下，有效缓解视频异常检测中的数据不平衡问题？
• RQ2 分离正常与异常记忆库如何提升特征判别性与模型泛化能力？
• RQ3 所提模型能否有效检测已知与未知的异常类型？
• RQ4 判别与生成组件的结合是否相比现有方法显著提升异常检测性能？

主要发现

• DREAM 在 UCSD Ped1、UCSD Ped2、CUHK Avenue 和 ShanghaiTech 数据集上均优于所有基线方法，且未增加额外参数。
• 模型在 Ped1 上的 r_normal = 15.48 和 r_abnormal = 12.72，表明正常与异常特征具有强分离性。
• 消融实验确认双记忆模块与判别-生成网络设计对性能提升均有显著贡献。
• 在 Avenue 数据集上的 t-SNE 可视化显示，双记忆空间中正常特征（蓝色）与异常特征（红色）呈现清晰聚类。
• 案例研究显示，DREAM 在异常区域产生更高的重建误差，证实对动态与静态异常均具有敏感性。
• 理论与实证分析表明，即使在训练中未见过未知异常类型，DREAM 仍能良好泛化。