[论文解读] Improving unsupervised anomaly localization by applying multi-scale memories to autoencoders

Yifei Yang, Shibing Xiang+1 more|arXiv (Cornell University)|Dec 21, 2020

Anomaly Detection Techniques and Applications参考文献 29被引用 4

一句话总结

本文提出多尺度记忆自编码器（MMAE），通过引入针对不同尺度的专用记忆模块和多尺度注意力融合模块，增强自编码器在无监督异常定位中的特征表示能力。通过在每个尺度上用对应记忆中最具相关性的原型特征替换编码后的特征，并利用注意力机制进行融合，MMAE在多个数据集上实现了优于基线自编码器和MemAE的重建保真度与异常检测性能，UCSD-Ped2数据集上的AUC最高提升至0.949。

ABSTRACT

Autoencoder and its variants have been widely applicated in anomaly detection.The previous work memory-augmented deep autoencoder proposed memorizing normality to detect anomaly, however it neglects the feature discrepancy between different resolution scales, therefore we introduce multi-scale memories to record scale-specific features and multi-scale attention fuser between the encoding and decoding module of the autoencoder for anomaly detection, namely MMAE.MMAE updates slots at corresponding resolution scale as prototype features during unsupervised learning. For anomaly detection, we accomplish anomaly removal by replacing the original encoded image features at each scale with most relevant prototype features,and fuse these features before feeding to the decoding module to reconstruct image. Experimental results on various datasets testify that our MMAE successfully removes anomalies at different scales and performs favorably on several datasets compared to similar reconstruction-based methods.

研究动机与目标

• 为解决MemAE在无监督异常检测中处理不同分辨率尺度间特征差异的局限性。
• 通过专用记忆模块保留各尺度下的正常模式，提升正常区域的重建保真度。
• 通过注意力机制融合多尺度、无异常的特征，提升异常定位的精确度。
• 在不增加模型复杂度的前提下，保持自编码器的端到端训练范式，同时增强表征能力。

提出的方法

• 引入多个记忆模块，在无监督预训练阶段分别存储特定分辨率尺度下的原型特征。
• 使用多尺度注意力融合模块，动态加权并组合来自各尺度的最相关原型特征，再进行解码。
• 推理阶段，将每个尺度的原始编码特征替换为对应尺度专用记忆中相似度最高的原型特征。
• 针对视频数据采用3D卷积编码器-解码器架构，以保持时空一致性。
• 采用与阈值无关的逐区域重叠（PRO）指标，评估在不同误报率下的异常分割性能。
• 使用重建损失进行端到端训练，记忆更新通过反向传播过程中的可微寻址机制完成。

实验结果

研究问题

• RQ1 针对不同分辨率的自编码器异常检测，专用尺度记忆模块是否能提升正常模式的表征能力？
• RQ2 通过注意力机制融合多尺度、记忆提取的特征，是否能实现更优的正常区域重建与更优的异常定位？
• RQ3 在多样化数据集上，所提出的MMAE方法相较于MemAE及其他SOTA重建基线方法，在异常检测性能上表现如何？
• RQ4 多尺度记忆的使用在多大程度上缓解了记忆增强自编码器中因线性子空间约束导致的表征能力退化问题？

主要发现

• 在UCSD-Ped2视频数据集上，MMAE取得0.949的AUC，优于MemAE（0.941）及其他SOTA方法。
• 在CUHK Avenue数据集上，MMAE取得0.846的AUC，超过MemAE（0.833）及其他基于重建的基线方法。
• 在ShanghaiTech数据集上，MMAE取得0.731的AUC，相较于MemAE（0.712）及其他方法表现出持续改进。
• 所提方法成功在多尺度上去除异常，测试图像中含异常样本的重建质量得到显著提升。
• 多尺度记忆的使用构建了更大、更具表达力的无异常潜在空间，同时满足重建保真度与异常不重建的假设。
• 基于注意力的融合机制有效结合了各尺度的干净特征，实现了更精确、更鲁棒的正常图像区域重建。