[论文解读] Exploring Diffusion Models for Unsupervised Video Anomaly Detection

Anıl Osman Tur, Nicola Dall’Asen+2 more|arXiv (Cornell University)|Apr 12, 2023

Anomaly Detection Techniques and Applications被引用 5

一句话总结

本文提出了一种新颖的无监督视频异常检测方法，利用扩散模型通过重建误差识别异常，无需任何标注数据。通过应用k-扩散模型并优化噪声调度与阈值设定，该方法在UCF-Crime和ShanghaiTech数据集上实现了最先进性能，某些情况下优于以往的生成模型甚至更复杂的架构。

ABSTRACT

This paper investigates the performance of diffusion models for video anomaly detection (VAD) within the most challenging but also the most operational scenario in which the data annotations are not used. As being sparse, diverse, contextual, and often ambiguous, detecting abnormal events precisely is a very ambitious task. To this end, we rely only on the information-rich spatio-temporal data, and the reconstruction power of the diffusion models such that a high reconstruction error is utilized to decide the abnormality. Experiments performed on two large-scale video anomaly detection datasets demonstrate the consistent improvement of the proposed method over the state-of-the-art generative models while in some cases our method achieves better scores than the more complex models. This is the first study using a diffusion model and examining its parameters' influence to present guidance for VAD in surveillance scenarios.

研究动机与目标

• 探究扩散模型在监控场景中用于无监督视频异常检测（VAD）的可行性和有效性。
• 探讨关键扩散模型超参数（如噪声调度与阈值设定）对异常检测性能的影响。
• 为在无异常标注的实际场景中部署扩散模型提供实用指导。
• 证明扩散模型中较高的重建误差可可靠指示异常视频帧。

提出的方法

• 该方法使用去噪扩散模型从无标签视频片段中重建时空特征，以重建误差作为异常分数。
• 采用k-扩散公式，其中反向过程从用户定义的时间步$ t $开始，从而控制噪声水平与信息保留。
• 通过傅里叶特征与FiLM层引入时间步嵌入，以噪声水平条件化去噪过程。
• 使用数据驱动的阈值进行异常检测：$ L_{th} = \mu_p + k\sigma_p $，其中$ \mu_p $与$ \sigma_p $为批量内MSE损失的均值与标准差。
• 模型仅在正常视频片段上进行训练，训练过程中不访问任何异常标注。
• 该方法在两个大规模基准数据集UCF-Crime与ShanghaiTech上通过AUC分数进行评估。

Fig. 1 : The proposed method takes a batch of unlabeled video clips as the input and learns to determine whether each frame is anomalous or exhibits normal behavior. Our model is a generative one, which leverages the reconstruction capability of diffusion models for unsupervised VAD. Mean Squared Er

实验结果

研究问题

• RQ1 扩散模型是否能在无任何标注数据的情况下有效检测视频中的异常？
• RQ2 反向去噪过程的起始时间步$ t $如何影响重建误差与异常检测性能？
• RQ3 在数据驱动阈值$ L_{th} = \mu_p + k\sigma_p $中，阈值乘数$ k $的最优值是多少？
• RQ4 不同主干网络架构（如3D-ResNet18、3D-ResNeXt101）与扩散模型超参数在VAD中的交互关系如何？
• RQ5 所提出方法在无监督VAD中是否比现有SOTA生成模型泛化能力更强？

主要发现

• 所提方法在UCF-Crime与ShanghaiTech两个数据集上均实现了最先进性能，优于基于自编码器的先前SOTA生成模型。
• 在ShanghaiTech数据集上使用3D-ResNet18时，$ t=6 $取得最佳性能，而其他配置下$ t=4 $为最优，表明对噪声调度敏感。
• 阈值乘数$ k $显著影响性能：对于3D-ResNeXt101，$ k=0.5 $在两个数据集上均表现最佳；而对于3D-ResNet18，$ k=0.7 $（ShanghaiTech）与$ k=0.1 $（UCF-Crime）为最优。
• 最佳与最差$ k $值之间的AUC差异最高达3个百分点，凸显超参数调优的重要性。
• 在某些设置下，该方法超越了使用协同生成-判别学习的更复杂模型，证明了基于重建的异常检测在扩散模型中的强大能力。
• 定性结果表明，异常分数在真实异常事件开始时迅速上升，并在之后下降，证实了时间对齐性与敏感性。

Fig. 2 : The effect of noise and the starting point of the reverse process while performing k-diffusion for VAD. The results (AUC %) belong to ShanghaiTech dataset [ 3 ] with 3D-ResNet18 backbone.