[论文解读] SLA$^2$P: Self-supervised Anomaly Detection with Adversarial Perturbation

Yizhou Wang, Can Qin+4 more|arXiv (Cornell University)|Nov 25, 2021

Anomaly Detection Techniques and Applications参考文献 68被引用 5

一句话总结

SLA²P 提出了一种自监督异常检测框架，通过随机特征投影生成伪类别，并在这些伪类别上训练分类器以学习正常数据的模式。通过在变换后的特征上应用对抗性扰动并测量预测不确定性，该方法通过降低置信度分数来识别异常，在图像、文本和表格数据集上均实现了最先进性能，且对极端异常比例具有鲁棒性。

ABSTRACT

Anomaly detection is a fundamental yet challenging problem in machine learning due to the lack of label information. In this work, we propose a novel and powerful framework, dubbed as SLA$^2$P, for unsupervised anomaly detection. After extracting representative embeddings from raw data, we apply random projections to the features and regard features transformed by different projections as belonging to distinct pseudo classes. We then train a classifier network on these transformed features to perform self-supervised learning. Next we add adversarial perturbation to the transformed features to decrease their softmax scores of the predicted labels and design anomaly scores based on the predictive uncertainties of the classifier on these perturbed features. Our motivation is that because of the relatively small number and the decentralized modes of anomalies, 1) the pseudo label classifier's training concentrates more on learning the semantic information of normal data rather than anomalous data; 2) the transformed features of the normal data are more robust to the perturbations than those of the anomalies. Consequently, the perturbed transformed features of anomalies fail to be classified well and accordingly have lower anomaly scores than those of the normal samples. Extensive experiments on image, text and inherently tabular benchmark datasets back up our findings and indicate that SLA$^2$P achieves state-of-the-art results on unsupervised anomaly detection tasks consistently.

研究动机与目标

• 解决无监督异常检测中的挑战，即缺乏标注数据且异常样本稀少且多样化。
• 通过将特征层面的变换转化为伪类别，利用自监督学习提升检测性能。
• 利用对抗性扰动特征的预测不确定性作为对异常敏感的评分机制。
• 在不同异常比例下实现鲁棒性能，特别是在低异常或高异常场景下。
• 通过随机投影的理论分析，弥合图像级与特征级自监督方法之间的差距。

提出的方法

• 对深度嵌入应用随机投影，生成多个变换后的特征视图，将其视为自监督学习中的不同伪类别。
• 使用早停策略训练深度神经网络分类器，以投影后的特征作为输入，防止过拟合，聚焦于学习正常数据的模式。
• 在变换后的特征上添加对抗性扰动，以降低预测标签的Softmax置信度，从而放大不确定性差异。
• 基于扰动后预测置信度的下降程度计算异常分数，置信度越低表示异常可能性越高。
• 该方法端到端应用于图像、文本和表格数据，无需针对特定任务进行调整。
• 理论分析表明，随机投影能够保留特征相似性，从而支持其在构建有意义伪类别中的有效性。

实验结果

研究问题

• RQ1 通过随机投影进行特征层面变换，能否为自监督异常检测创建有效的伪监督？
• RQ2 对抗性扰动是否能增强预测不确定性的判别能力，以识别异常？
• RQ3 所提出的方法能否在图像、文本和表格等多样化数据模态上实现泛化？
• RQ4 SLA²P在极端异常比例下表现如何，特别是在异常比例极低或极高时？
• RQ5 在该自监督异常检测框架中使用随机投影的理论依据是什么？

主要发现

• SLA²P 在图像、文本和表格领域共 7 个基准数据集上实现了最先进性能，显著优于先前方法。
• 在 MVTec-AD 数据集上，SLA²P 的平均 AUROC 达到 95.81%，较之前最先进方法高出 1.25 个百分点。
• 在 20 Newsgroups 文本数据集上，当 p=0.5 时，SLA²P 的 AUROC 达到 78.13%，超过次优方法 7.0 个百分点。
• 该方法在极端异常比例下仍保持强性能，即使在 1% 异常比例下 MVTec-AD 的 AUROC 仍高于 90%，在 50% 异常比例下仍高于 85%。
• 消融实验表明，随机投影和对抗性扰动均为关键组件，任一组件的移除平均导致性能下降超过 5%。
• 理论分析证实，随机投影能够保留特征相似性，支持伪类别学习目标的有效性。