[论文解读] Dual Memory Units with Uncertainty Regulation for Weakly Supervised Video Anomaly Detection

Hang Zhou, Junqing Yu+1 more|arXiv (Cornell University)|Feb 10, 2023

Anomaly Detection Techniques and Applications被引用 6

一句话总结

该论文提出了一种新颖的不确定性调节双记忆单元（UR-DMU）模型，用于弱监督视频异常检测，通过为正常和异常原型分别建立双记忆库，并引入正常数据不确定性学习机制，有效降低误报率。通过整合全局与局部多头自注意力模块（GL-MHSA）以及双记忆分离损失，该方法在UCF-Crime和XD-Violence数据集上实现了最先进性能，于XD-Violence数据集上达到94.02%的AUC和82.85%的AP，显著优于现有方法。

ABSTRACT

Learning discriminative features for effectively separating abnormal events from normality is crucial for weakly supervised video anomaly detection (WS-VAD) tasks. Existing approaches, both video and segment-level label oriented, mainly focus on extracting representations for anomaly data while neglecting the implication of normal data. We observe that such a scheme is sub-optimal, i.e., for better distinguishing anomaly one needs to understand what is a normal state, and may yield a higher false alarm rate. To address this issue, we propose an Uncertainty Regulated Dual Memory Units (UR-DMU) model to learn both the representations of normal data and discriminative features of abnormal data. To be specific, inspired by the traditional global and local structure on graph convolutional networks, we introduce a Global and Local Multi-Head Self Attention (GL-MHSA) module for the Transformer network to obtain more expressive embeddings for capturing associations in videos. Then, we use two memory banks, one additional abnormal memory for tackling hard samples, to store and separate abnormal and normal prototypes and maximize the margins between the two representations. Finally, we propose an uncertainty learning scheme to learn the normal data latent space, that is robust to noise from camera switching, object changing, scene transforming, etc. Extensive experiments on XD-Violence and UCF-Crime datasets demonstrate that our method outperforms the state-of-the-art methods by a sizable margin.

研究动机与目标

• 通过改进正常数据模式的建模，解决弱监督视频异常检测（WS-VAD）中高误报率的问题。
• 克服现有方法仅关注异常特征判别性学习而忽视正常数据表征的局限性。
• 增强对摄像头切换、物体变化和场景切换等噪声的鲁棒性，提升在正常视频数据中的稳定性。
• 设计一种更有效的记忆机制，利用双记忆库分离正常与异常原型。
• 通过不确定性建模学习一个对噪声具有鲁棒性的潜在正常空间，从而提升异常检测性能。

提出的方法

• 引入全局与局部多头自注意力（GL-MHSA）模块，以捕捉视频序列中的长程与局部时序依赖关系，获得更具表现力的特征嵌入。
• 采用两个记忆库——一个用于存储正常原型，一个用于存储异常原型——并利用视频级标签对代表性特征进行存储与分离。
• 设计双记忆分离损失，以最大化正常与异常记忆表征之间的边界距离，增强判别能力。
• 提出正常数据不确定性学习（NUL）方案，将正常特征建模为可学习均值与方差的高斯分布，提升对噪声的鲁棒性。
• 采用基于特征幅值的范式，指导正样本的选择，与RTFM方法中有效的异常检测策略保持一致。
• 在统一框架中结合GL-MHSA、双记忆单元与NUL模块，联合优化特征学习、记忆表征与不确定性建模。

Figure 1: We use two memory banks to store normal and anomaly instances respectively, both memory banks attract close instances. The normal space is regulated to be a Gaussian distribution, while no additional regulation applied for anomaly feature space. Such a strategy can tackle the hard samples

实验结果

研究问题

• RQ1 对正常数据潜在结构的建模是否能提升弱监督视频异常检测的性能并降低误报率？
• RQ2 使用双记忆库分别存储正常与异常原型，是否能实现比单记忆库更优的正常与异常模式分离？
• RQ3 对正常特征进行不确定性建模，是否能增强对摄像头切换、物体变化与场景切换等噪声的鲁棒性？
• RQ4 GL-MHSA模块在捕捉异常视频表征中的全局与局部时序依赖关系方面是否具有显著有效性？
• RQ5 各损失组件（三元组损失、双记忆损失、KL散度、解耦损失）对整体检测性能的贡献如何？

主要发现

• 完整UR-DMU模型在XD-Violence数据集上达到94.02%的AUC与82.85%的AP，优于当前最先进方法。
• 在UCF-Crime数据集上，模型实现86.97%的AUC与37.25%的AP，展现出在多样化数据集上的强大性能。
• 消融实验表明，引入DMU模块后，AUC与AP均提升，同时误报率（FAR）从4.86%降至1.05%。
• 仅使用NUL模块即可使AUC与AP分别提升2.37个百分点与2.20个百分点，凸显其在正常空间正则化中的有效性。
• GL-MHSA模块在特征表示方面贡献显著，全模型在所有消融设置中均取得最高性能。
• 定性结果表明，所提方法在复杂场景（如平滑过渡）中实现更精确的异常定位，且误报率低于RTFM。

Figure 2: The framework of our UR-DMU model consists of three parts: global and local feature learning (GL-MHSA), dual memory units (DMU), and normal data uncertainty learning (NUL). GL-MHSA extracts better expressive embeddings, DMU stores both normal and abnormal patterns for discrimination, and N