[论文解读] Iterative energy-based projection on a normal data manifold for anomaly localization

David Dehaene, Oriel Frigo+2 more|arXiv (Cornell University)|Feb 10, 2020

Anomaly Detection Techniques and Applications被引用 67

一句话总结

本文提出一个对输入在学习得到的正常数据流形上的迭代梯度下降投影，使用来自自编码器重建的能量来实现更好的异常定位和修复。它在输入空间中更新输入（而非潜在空间），并利用像素级重建误差来引导快速收敛。

ABSTRACT

Autoencoder reconstructions are widely used for the task of unsupervised anomaly localization. Indeed, an autoencoder trained on normal data is expected to only be able to reconstruct normal features of the data, allowing the segmentation of anomalous pixels in an image via a simple comparison between the image and its autoencoder reconstruction. In practice however, local defects added to a normal image can deteriorate the whole reconstruction, making this segmentation challenging. To tackle the issue, we propose in this paper a new approach for projecting anomalous data on a autoencoder-learned normal data manifold, by using gradient descent on an energy derived from the autoencoder's loss function. This energy can be augmented with regularization terms that model priors on what constitutes the user-defined optimal projection. By iteratively updating the input of the autoencoder, we bypass the loss of high-frequency information caused by the autoencoder bottleneck. This allows to produce images of higher quality than classic reconstructions. Our method achieves state-of-the-art results on various anomaly localization datasets. It also shows promising results at an inpainting task on the CelebA dataset.

研究动机与目标

• 在异常罕见且标签稀缺的工业检测场景中，提出无监督的异常定位的动机。
• 提出一种通过优化由自编码器损失定义的能量，将异常输入投射到正常数据流形上的方法。
• 引入正则化项，编码对预期异常的先验和保留高频信息。
• 在 MVTec 数据集上展示最先进的异常定位，并在 CelebA 上显示有希望的修复结果。

提出的方法

• 在正常数据上训练自编码器，以学习正常流形。
• 基于自编码器重建损失并设定阈值 T，定义异常检测器 A(x)。
• 构造能量 E(x) = L_r(x) + lambda * ||x - x0||_1，并从 x0 在输入空间中进行梯度下降以使 E(x) 最小化。
• 将 L1 距离作为 L0 的代理，以对达到正常流形所需的最小变动进行正则化。
• 通过自适应方案增强梯度更新：可选使用 Adam 和一个像素级加权项 (x - f_VAE(x))^2 来加速收敛并保留高频细节。
• 提供基于能量收敛或基于训练数据推导的损失阈值的停止准则。

实验结果

研究问题

• RQ1 将输入在 VAE/自编码器学习的正常流形上进行的迭代梯度投影，是否能相比标准重建改善异常定位？
• RQ2 结合正则化项和保留高频信息的梯度更新是否能带来更好的定位和修复质量？
• RQ3 在标准异常定位基准（例如 MVTec）和修复任务（例如 CelebA）上的表现如何？

主要发现

• 该方法在 MVTec 数据集的多个基线上提升了异常分割性能，AUROC 的平均提升为 9.52%。
• 基于梯度的迭代重建往往通过保留在标准自编码器重建中丢失的高频图像细节，产生更高质量的定位。
• 使用像素级重建误差来引导梯度更新可以加速收敛并保留结构，在较少的迭代次数下达到类似性能。
• 在 CelebA 的图像修复方面也显示出有希望的结果，在掩码/噪声存在时优于基线 VAE 重建。
• 基于重建损失阈值的停止准则可以高效终止梯度下降，使其具有实际应用性。