[论文解读] Perturbation Learning Based Anomaly Detection

Jinyu Cai, Jicong Fan|arXiv (Cornell University)|Jun 6, 2022

Anomaly Detection Techniques and Applications被引用 11

一句话总结

本文提出了一种基于扰动学习的异常检测方法（PLAD），这是一种新颖的无监督异常检测方法，通过联合训练扰动器和分类器，学习将正常数据转换为对抗性样本的最小扰动，从而在不依赖数据分布先验假设的情况下，使分类器能够学习正常与异常数据之间的决策边界。PLAD在图像和表格数据集上均取得了最先进性能，相比现有方法具有更少的超参数和更低的计算成本。

ABSTRACT

This paper presents a simple yet effective method for anomaly detection. The main idea is to learn small perturbations to perturb normal data and learn a classifier to classify the normal data and the perturbed data into two different classes. The perturbator and classifier are jointly learned using deep neural networks. Importantly, the perturbations should be as small as possible but the classifier is still able to recognize the perturbed data from unperturbed data. Therefore, the perturbed data are regarded as abnormal data and the classifier provides a decision boundary between the normal data and abnormal data, although the training data do not include any abnormal data. Compared with the state-of-the-art of anomaly detection, our method does not require any assumption about the shape (e.g. hypersphere) of the decision boundary and has fewer hyper-parameters to determine. Empirical studies on benchmark datasets verify the effectiveness and superiority of our method.

研究动机与目标

• 开发一种新型异常检测方法，无需对正常数据分布的形状或结构做出假设。
• 相比现有的深度异常检测方法，减少所需超参数的数量。
• 在仅提供正常训练数据的无监督设置下，实现有效的异常检测。
• 提升在复杂数据上的泛化能力，包括多类别正常数据和非图像表格数据。

提出的方法

• PLAD 训练一个扰动器，生成能将正常数据转化为对抗性样本的最小、不可察觉的扰动。
• 分类器通过联合训练，区分原始正常数据与扰动后的数据，从而有效学习决策边界。
• 该方法使用深度神经网络，通过端到端反向传播联合优化扰动器和分类器。
• 通过正则化损失约束扰动的大小，确保其保持最小化，同时仍具备判别能力。
• 该方法隐式地将异常数据定义为超出正常数据流形的样本点。
• 该方法兼容多种深度架构，包括卷积神经网络（CNN）、循环神经网络（RNN）、图神经网络（GNN）和变换器（transformers），适用于多样化数据类型。

实验结果

研究问题

• RQ1 能否开发一种基于深度学习的异常检测方法，而无需假设正常数据流形具有特定形状（如超球体）？
• RQ2 能否仅从正常数据中有效学习到最小扰动，以构建稳健的决策边界？
• RQ3 PLAD 是否在图像和表格数据集上均优于最先进方法，且所需超参数更少？
• RQ4 当正常数据包含多个未标记类别时，PLAD 的泛化能力如何？

主要发现

• 在甲状腺数据集上，PLAD 的 F1 分数达到 76.6% ± 0.6，优于所有基线方法，包括 NeuTraL AD 和 GOCC。
• 在心律失常数据集上，PLAD 的 F1 分数为 71.0% ± 1.7，领先第二名 9.2 个百分点。
• 在多类别正常数据检测中，PLAD 在 CIFAR-10 上达到 72.7% ± 1.9 AUC，在 Fashion-MNIST 上达到 75.3% ± 2.8 AUC，分别优于 DSVDD 9.1% 和 4.4%。
• PLAD 在图像和表格数据上均表现出优越性能，显示出跨数据类型的强泛化能力。
• 该方法以更少的超参数和更低的计算成本，取得了最先进结果，优于 DROCC、GOAD 和 DSVDD 等方法。