[论文解读] Deep Generative Model using Unregularized Score for Anomaly Detection with Heterogeneous Complexity

Takashi Matsubara, Kenta Hama+2 more|arXiv (Cornell University)|Jul 16, 2018

Anomaly Detection Techniques and Applications被引用 6

一句话总结

本文提出了一种用于深度生成模型（DGMs）的无正则化异常评分方法，可显著提升在异质复杂度数据集上的异常检测性能——此类数据集中，由于固有变异性，复杂形状的正常样本常被错误标记为异常。通过在推理阶段去除正则化项，该方法生成更鲁棒的评分，能更准确地区分真实异常与复杂但正常的结构，在真实世界制造数据集上显著优于标准DGMs及传统方法。

ABSTRACT

Accurate and automated detection of anomalous samples in a natural image dataset can be accomplished with a probabilistic model for end-to-end modeling of images. Such images have heterogeneous complexity, however, and a probabilistic model overlooks simply shaped objects with small anomalies. This is because the probabilistic model assigns undesirably lower likelihoods to complexly shaped objects that are nevertheless consistent with set standards. To overcome this difficulty, we propose an unregularized score for deep generative models (DGMs), which are generative models leveraging deep neural networks. We found that the regularization terms of the DGMs considerably influence the anomaly score depending on the complexity of the samples. By removing these terms, we obtain an unregularized score, which we evaluated on a toy dataset and real-world manufacturing datasets. Empirical results demonstrate that the unregularized score is robust to the inherent complexity of samples and can be used to better detect anomalies.

研究动机与目标

• 解决当正常样本具有高结构复杂度（如螺钉孔或纹理组织）时，深度生成模型中误报异常检测的问题。
• 探究DGM中正则化项如何基于样本复杂度扭曲异常评分，导致将复杂正常样本误分类为异常。
• 提出并评估一种基于变分自编码器目标的无正则化评分方法，通过移除正则化项以提升对固有样本复杂度的鲁棒性。
• 在合成数据集和真实世界制造数据集上验证所提方法，证明其在性能上优于标准DGM和传统异常检测技术。

提出的方法

• 该方法使用带有标准VAE目标函数的变分自编码器（VAE），但在推理阶段省略了KL散度正则化项，从而生成无正则化的异常评分。
• 异常评分定义为平方归一化距离 $ M(x) = \|x - \mu_x\|^2 / \sigma_x^2 $，该定义对输入图像块的复杂度具有不变性。
• 无正则化评分通过VAE编码器输出的重建均值 $ \mu_x $ 和标准差 $ \sigma_x $ 计算，避免依赖对复杂度敏感的KL项。
• 该方法使用VAE的重建损失与归一化距离作为最终异常评分，通过归一化确保在复杂与简单区域间的一致性。
• 在玩具数据集和真实制造数据集上，将该方法与带正则化的标准VAE、高斯混合模型（GMM）及孤立森林进行对比。
• 评分在图像块级别以 $ 4 \times 4 $ 步长应用，用于定位图像中的异常，评分经归一化后映射至[0,1]区间，便于可视化与评估。

实验结果

研究问题

• RQ1 DGM中的正则化项如何影响在异质复杂度样本上的异常检测性能？
• RQ2 在推理阶段移除正则化项是否能提升对复杂形状正常样本的异常检测鲁棒性？
• RQ3 无正则化评分 $ M(x) $ 是否在具有复杂纹理与结构的真实世界制造数据集上优于标准DGM基异常评分？
• RQ4 所提方法在多大程度上减少了对正常但复杂区域（如螺钉槽或纹理表面）的误报？

主要发现

• 在螺钉数据集上，采用无正则化评分 $ M(x) $ 的VAE显著优于带正则化的标准VAE，AUC-ROC得分更高。
• 无正则化评分 $ M(x) $ 在正常但复杂的区域（如螺钉槽和曲面）中始终产生较低的异常评分，而标准VAE则因变异性导致高分。
• 孤立森林无法有效建模螺钉数据集，因无法捕捉复杂纹理中的空间与结构模式，导致性能较差。
• 使用无正则化评分的GMM相较于其正则化版本有中等程度改进，但仍难以应对空间位移与复杂边界，而基于VAE的方法表现更优。
• 平方归一化距离 $ M(x) $ 对图像块复杂度具有鲁棒性，因其通过 $ \sigma_x $ 进行归一化，能自动反映局部变异性，从而在异常检测中更具可靠性。
• 可视化结果证实，无正则化评分能正确定位如气孔等异常，同时避免在正常但复杂的区域（如螺钉槽）产生误报。