[论文解读] Learning Normal Dynamics in Videos with Meta Prototype Network

Hui Lv, Chen Chen+4 more|arXiv (Cornell University)|Apr 14, 2021

Anomaly Detection Techniques and Applications参考文献 49被引用 14

一句话总结

该论文提出了一种元原型网络（Meta-Prototype Network, MPN），通过基于注意力的原型挖掘，在动态原型单元（Dynamic Prototype Unit, DPU）中学习正常视频动态，实现无需额外存储的内存高效、端到端正常性建模。通过引入元学习，MPN能够在仅使用少量支持帧的情况下实现对新场景的快速少样本适应，在多个基准测试中表现优于当前最先进方法，在Ped2数据集上达到96.9%的AUC，推理速度达166.8 FPS。

ABSTRACT

Frame reconstruction (current or future frame) based on Auto-Encoder (AE) is a popular method for video anomaly detection. With models trained on the normal data, the reconstruction errors of anomalous scenes are usually much larger than those of normal ones. Previous methods introduced the memory bank into AE, for encoding diverse normal patterns across the training videos. However, they are memory-consuming and cannot cope with unseen new scenarios in the testing data. In this work, we propose a dynamic prototype unit (DPU) to encode the normal dynamics as prototypes in real time, free from extra memory cost. In addition, we introduce meta-learning to our DPU to form a novel few-shot normalcy learner, namely Meta-Prototype Unit (MPU). It enables the fast adaption capability on new scenes by only consuming a few iterations of update. Extensive experiments are conducted on various benchmarks. The superior performance over the state-of-the-art demonstrates the effectiveness of our method.

研究动机与目标

• 通过用紧凑且可微分的原型学习机制替代大型内存库，解决视频异常检测中内存密集型方法的局限性。
• 通过仅使用少量支持帧即可快速适应新环境，提升在多样化真实场景中的泛化能力。
• 开发一种无内存、可端到端训练的框架，对视频中的多样化正常动态进行建模，避免对特定模式的过拟合。
• 通过显式将正常动态编码为原型，提升基于重建的异常检测性能，从而提高对未见异常的检测精度。

提出的方法

• 引入动态原型单元（DPU），利用多头注意力机制为正常性分配权重，从连续正常帧的编码特征中学习紧凑且多样的原型。
• DPU通过注意力加权聚合特征向量生成原型池，并引入紧凑性与多样性损失，确保原型具有代表性且无冗余。
• 在DPU中应用元学习策略，通过推理阶段仅使用少量支持帧即可快速更新原型参数，实现对新场景的快速适应。
• 将DPU集成到自编码器主干网络中，通过将重建特征图与基于原型的编码结果融合，提升帧预测或重建性能。
• 采用重建损失与新型基于原型的损失相结合的方式，端到端训练模型，以鼓励紧凑且多样的原型学习。
• 推理阶段通过元优化初始化实现少样本适应，实现在新场景中无需微调即可快速更新参数。

实验结果

研究问题

• RQ1 无内存、可微分的原型学习机制能否有效建模视频序列中的多样化正常动态？
• RQ2 视频异常检测模型如何仅使用少量支持帧即可实现对新未见场景的快速适应？
• RQ3 基于注意力的原型挖掘在准确率与效率方面是否优于传统的内存库方法？
• RQ4 能否有效利用元学习为无监督视频异常检测中的原型网络提供少样本适应的初始化？

主要发现

• 所提出的元原型网络（MPN）在Ped2基准测试中达到96.9%的AUC，优于包括MemAE和LMN在内的当前最先进方法。
• 当使用10个原型时，DPU达到最优性能；若原型数量超过10个，性能因噪声增加与多样性降低而下降。
• 在单张RTX-2080Ti GPU上，模型推理速度达166.8 FPS，显著快于先前方法如rGAN（2.1 FPS）和MemAE（86.7 FPS）。
• 将DPU置于自编码器更高分辨率的特征层可提升性能，Ped2数据集上AUC从1/8分辨率时的81.18提升至1/1分辨率时的89.19。
• DPU生成的正常性图能有效突出场景特异的正常属性，如道路、草地和建筑物，异常区域则呈现低权重。
• 消融实验表明，结合特征重建与帧预测得分可获得最佳性能（96.9% AUC），证明了两种损失组件的互补性。