[论文解读] Self-Supervised Training with Autoencoders for Visual Anomaly Detection

Alexander Bauer, Nakajima, Shinichi+1 more|arXiv (Cornell University)|Jun 23, 2022

Anomaly Detection Techniques and Applications被引用 5

一句话总结

本文提出一种自监督自编码器框架用于视觉异常检测，通过在受损输入上使用受神经图像修复启发的两种目标进行训练，改进了基于重建的异常评分方法。该方法在MVTec AD数据集上实现最先进性能，尤其在纹理类别上表现优异，通过学习重建正常模式并利用局部一致性过滤异常，实现仅需一次前向传播的高精度检测与定位。

ABSTRACT

We focus on a specific use case in anomaly detection where the distribution of normal samples is supported by a lower-dimensional manifold. Here, regularized autoencoders provide a popular approach by learning the identity mapping on the set of normal examples, while trying to prevent good reconstruction on points outside of the manifold. Typically, this goal is implemented by controlling the capacity of the model, either directly by reducing the size of the bottleneck layer or implicitly by imposing some sparsity (or contraction) constraints on parts of the corresponding network. However, neither of these techniques does explicitly penalize the reconstruction of anomalous signals often resulting in poor detection. We tackle this problem by adapting a self-supervised learning regime that exploits discriminative information during training but focuses on the submanifold of normal examples. Informally, our training objective regularizes the model to produce locally consistent reconstructions, while replacing irregularities by acting as a filter that removes anomalous patterns. To support this intuition, we perform a rigorous formal analysis of the proposed method and provide a number of interesting insights. In particular, we show that the resulting model resembles a non-linear orthogonal projection of partially corrupted images onto the submanifold of uncorrupted samples. On the other hand, we identify the orthogonal projection as an optimal solution for a number of regularized autoencoders including the contractive and denoising variants. We support our theoretical analysis by empirical evaluation of the resulting detection and localization performance of the proposed method. In particular, we achieve a new state-of-the-art result on the MVTec AD dataset -- a challenging benchmark for visual anomaly detection in the manufacturing domain.

研究动机与目标

• 为解决标准自编码器在区分异常区域与正常区域时因重建误差相似而存在的局限性。
• 通过在自监督训练中引入判别性信息，无需异常标注，以改进异常检测与定位性能。
• 设计一种显式抑制异常模式重建的训练策略，利用数据流形结构。
• 通过单次前向传播实现高效推理，避免使用内存密集型机制（如特征记忆库）。
• 在MVTec AD基准上展示最先进性能，尤其在纹理及类似纹理的物体类别上。

提出的方法

• 在部分受损图像上训练深度卷积自编码器，使用源自神经图像修复的两种自监督目标。
• 使用目标(1)对局部一致重建进行正则化，作为过滤器，用合理的正常模式替代不规则区域。
• 使用目标(4)联合最小化正常区域的重建误差并最大化异常区域的误差，类似于分割目标。
• 通过遮挡和旋转等数据增强方法生成训练时的受损输入，提升对多样化异常类型的鲁棒性。
• 形式化分析模型近似为对正常样本流形的非线性正交投影，从而证明重建误差可作为异常评分的合理性。
• 使用端到端反向传播训练，通过超参数λ平衡重建损失与异常感知正则化。

实验结果

研究问题

• RQ1 通过自监督训练，自编码器是否能通过显式抑制异常模式的重建来提升异常检测性能？
• RQ2 与标准重建损失相比，使用图像修复启发目标在检测接近数据流形的细微异常时表现如何？
• RQ3 将局部一致性正则化与异常感知损失结合，是否能在不因特定损坏模式过拟合的情况下提升定位性能？
• RQ4 图像损坏方法的选择在多大程度上影响模型泛化能力与过拟合？
• RQ5 仅通过单次前向传播推理且无需记忆库，能否实现视觉异常检测的最先进性能？

主要发现

• 所提方法在MVTec AD数据集上实现最先进性能，尤其在纹理子集上表现突出，在检测与定位任务中均优于近期方法。
• 在纹理子集上，该方法始终以显著优势超越现有方法，展现出对细微且复杂异常的优越泛化能力。
• 使用目标(1)训练的模型可作为过滤器，将异常模式替换为局部一致的重建结果，从而检测位于正常数据流形附近的异常。
• 使用目标(4)训练的模型通过放大异常区域的重建误差，实现更高的定位精度，接近分割性能。
• 尽管对损坏方法和超参数调优更敏感，目标(4)在定位性能上仍带来显著提升，如图11所示的木材表面胶滴异常。
• 结合使用目标(1)和(4)训练的模型表现显示出进一步提升性能的潜力，表明其在检测与定位方面具有互补优势。