[论文解读] Context Recovery and Knowledge Retrieval: A Novel Two-Stream Framework for Video Anomaly Detection

Congqi Cao, Yue Lu+1 more|arXiv (Cornell University)|Sep 7, 2022

Anomaly Detection Techniques and Applications被引用 6

一句话总结

本文提出了一种新颖的双流框架用于视频异常检测，通过结合上下文恢复与知识检索，利用局部运动模式和学习到的正常性知识来提升异常检测性能。该方法采用时空U-Net结合最大局部误差机制进行基于重建的异常评分，同时引入改进的可学习局部敏感哈希（iL2SH）实现正常性知识检索，在四个基准数据集上达到最先进性能。

ABSTRACT

Video anomaly detection aims to find the events in a video that do not conform to the expected behavior. The prevalent methods mainly detect anomalies by snippet reconstruction or future frame prediction error. However, the error is highly dependent on the local context of the current snippet and lacks the understanding of normality. To address this issue, we propose to detect anomalous events not only by the local context, but also according to the consistency between the testing event and the knowledge about normality from the training data. Concretely, we propose a novel two-stream framework based on context recovery and knowledge retrieval, where the two streams can complement each other. For the context recovery stream, we propose a spatiotemporal U-Net which can fully utilize the motion information to predict the future frame. Furthermore, we propose a maximum local error mechanism to alleviate the problem of large recovery errors caused by complex foreground objects. For the knowledge retrieval stream, we propose an improved learnable locality-sensitive hashing, which optimizes hash functions via a Siamese network and a mutual difference loss. The knowledge about normality is encoded and stored in hash tables, and the distance between the testing event and the knowledge representation is used to reveal the probability of anomaly. Finally, we fuse the anomaly scores from the two streams to detect anomalies. Extensive experiments demonstrate the effectiveness and complementarity of the two streams, whereby the proposed two-stream framework achieves state-of-the-art performance on four datasets.

研究动机与目标

• 解决现有视频异常检测方法仅依赖局部重建或预测误差而未建模全局正常性的局限性。
• 克服标准上下文恢复模型难以识别场景相关异常（如在道路上踢足球）的挑战。
• 改善因数据不平衡导致罕见或不频繁正常事件常被误判为异常的问题。
• 通过整合短期运动一致性与长期正常行为知识，提升模型鲁棒性。
• 在不依赖目标检测或外部数据集的前提下实现最先进性能，确保在多样化场景中的泛化能力。

提出的方法

• 在上下文恢复流中提出时空U-Net（STU-Net），利用输入片段中的运动信息预测未来帧。
• 引入最大局部误差（MLE）机制，隔离并突出异常区域的重建误差，以提升异常评分的精确度。
• 提出改进的可学习局部敏感哈希（iL2SH），采用孪生网络与互差异损失优化哈希函数，以更好地表示正常事件。
• 使用iL2SH将正常事件编码为知识库，其中正常性知识以紧凑的哈希码形式存储。
• 基于测试片段表示与知识库最近邻条目之间的距离计算异常评分，反映其与正常行为的一致性。
• 通过可学习或加权组合方式融合两路的异常评分，生成最终检测结果。

实验结果

研究问题

• RQ1 结合上下文恢复与知识检索的双流框架是否能在检测场景相关异常方面优于单流方法？
• RQ2 可学习的局部敏感哈希机制在有效编码与检索正常视频行为知识方面能达到何种程度？
• RQ3 引入最大局部误差机制是否能提升基于重建的异常检测对局部异常的敏感性？
• RQ4 所提框架是否能在不依赖目标检测或外部数据集的前提下实现最先进性能？
• RQ5 两路在检测短期运动异常与罕见或情境异常事件方面如何相互补充？

主要发现

• 所提双流框架在四个基准数据集（ShanghaiTech、Avenue、Corridor、Ped2）上均达到最先进性能。
• 在ShanghaiTech数据集上，该方法实现83.7%的micro-AUC，优于次佳方法（CAC）4.4%和VADB 5.5%，且未使用目标检测。
• 在Corridor数据集上，于公平设置下未进行人工区域裁剪，该方法实现73.1%的micro-AUC，为所有对比方法中的最高值。
• 在Avenue数据集上，该框架实现99.3%的macro-AUC，为所有评估方法中的最佳结果。
• 消融实验验证了两路的互补性：上下文恢复流在检测运动异常方面表现更优，而知识检索流则提升了对情境异常事件的检测能力。
• 即使在Ped2数据集（异常与物体相关）上，该方法仍具竞争力，且可通过集成目标检测与光流信息进一步提升性能。