[论文解读] Learning Not to Reconstruct Anomalies

Marcella Astrid, Muhammad Zaigham Zaheer+2 more|arXiv (Cornell University)|Oct 19, 2021

Anomaly Detection Techniques and Applications被引用 18

一句话总结

本文提出了一种新型的自编码器训练方法，用于单类视频异常检测，通过利用基于补丁和跳帧操作生成的伪异常，显式防止对异常内容的重建。该方法提升了正常数据与异常数据之间的判别能力，在三个基准数据集上实现了最先进性能，同时保持了正常数据重建质量不受影响。

ABSTRACT

Video anomaly detection is often seen as one-class classification (OCC) problem due to the limited availability of anomaly examples. Typically, to tackle this problem, an autoencoder (AE) is trained to reconstruct the input with training set consisting only of normal data. At test time, the AE is then expected to well reconstruct the normal data while poorly reconstructing the anomalous data. However, several studies have shown that, even with only normal data training, AEs can often start reconstructing anomalies as well which depletes the anomaly detection performance. To mitigate this problem, we propose a novel methodology to train AEs with the objective of reconstructing only normal data, regardless of the input (i.e., normal or abnormal). Since no real anomalies are available in the OCC settings, the training is assisted by pseudo anomalies that are generated by manipulating normal data to simulate the out-of-normal-data distribution. We additionally propose two ways to generate pseudo anomalies: patch and skip frame based. Extensive experiments on three challenging video anomaly datasets demonstrate the effectiveness of our method in improving conventional AEs, achieving state-of-the-art performance.

研究动机与目标

• 解决标准自编码器在仅使用正常数据进行训练时仍会重建异常输入的局限性。
• 克服传统自编码器在单类分类设置下正常与异常重建之间判别能力差的问题。
• 开发一种训练机制，确保自编码器即使在输入为异常时也仅重建正常数据。
• 提出两种有效的伪异常生成策略——基于补丁的方法和基于跳帧的方法，以在训练期间模拟分布外异常。
• 在不损害正常数据重建质量的前提下，提升异常检测性能。

提出的方法

• 以仅重建正常数据为目标进行自编码器训练，无论输入类型（正常或异常）如何。
• 通过在正常视频帧上应用基于补丁的遮挡或跳帧操作，生成伪异常以模拟异常分布。
• 在训练过程中使用生成的伪异常，显式惩罚模型对异常内容的重建。
• 将伪异常数据整合到训练损失中，以促使模型学习到紧密约束在正常数据周围的重建边界。
• 在保持原始自编码器架构不变的同时，修改训练目标以实现对输入类型的重建不变性。
• 利用最小-最大归一化的重建误差热图进行可视化和验证，以提升异常定位能力。

实验结果

研究问题

• RQ1 能否训练自编码器，使其即使在输入为异常时也仅重建正常数据，从而提升异常检测性能？
• RQ2 基于补丁和基于跳帧的伪异常生成方法在模拟单类训练中的分布外异常方面有多有效？
• RQ3 与传统自编码器及记忆增强模型相比，所提方法是否能提升正常与异常重建之间的判别能力？
• RQ4 该方法在扭曲异常输入的同时，能在多大程度上保持对正常数据的高质量重建？
• RQ5 所提出的训练策略是否能在标准视频异常检测基准上实现最先进性能？

主要发现

• 所提方法在三个具有挑战性的视频异常检测数据集（ShanghaiTech、Avenue 和 Ped2）上实现了最先进性能。
• 基于补丁的伪异常方法在补丁概率 p=0.2 时表现最佳，而基于跳帧的方法在跳帧间隔 s=2,3,4,5 时表现最优。
• 定性结果表明，模型能够成功重建正常背景并抑制异常物体（如被扔出的背包或移动的自行车），在异常区域产生更高的重建误差。
• 与 MemAE 相比，所提模型保持了更优的正常数据重建质量，并在异常判别方面表现更优，尤其在记忆容量限制性能的情况下。
• 失败案例显示，细长或视觉上不显眼的异常（如滑板、婴儿车）仍具挑战性，表明需要更复杂的伪异常设计。
• 该方法在多种异常类型下表现出鲁棒性，并在定量指标和视觉重建质量方面持续优于基线自编码器和 MemAE。