[论文解读] Autoencoding Binary Classifiers for Supervised Anomaly Detection

Yuki Yamanaka, Tomoharu Iwata+3 more|arXiv (Cornell University)|Mar 26, 2019

Anomaly Detection Techniques and Applications参考文献 22被引用 4

一句话总结

本文提出了一种新型的监督异常检测方法——自编码二值分类器（Autoencoding Binary Classifiers, ABC），该方法将自编码器与概率二值分类相结合，联合检测已知和未知异常。通过利用自编码器的重构误差建模标签的似然性，ABC 在正常数据上最小化重构误差，同时在已知异常上最大化重构误差，从而实现稳定训练，并在性能上超越现有的监督与无监督方法。

ABSTRACT

We propose the Autoencoding Binary Classifiers (ABC), a novel supervised anomaly detector based on the Autoencoder (AE). There are two main approaches in anomaly detection: supervised and unsupervised. The supervised approach accurately detects the known anomalies included in training data, but it cannot detect the unknown anomalies. Meanwhile, the unsupervised approach can detect both known and unknown anomalies that are located away from normal data points. However, it does not detect known anomalies as accurately as the supervised approach. Furthermore, even if we have labeled normal data points and anomalies, the unsupervised approach cannot utilize these labels. The ABC is a probabilistic binary classifier that effectively exploits the label information, where normal data points are modeled using the AE as a component. By maximizing the likelihood, the AE in the proposed ABC is trained to minimize the reconstruction error for normal data points, and to maximize it for known anomalies. Since our approach becomes able to reconstruct the normal data points accurately and fails to reconstruct the known and unknown anomalies, it can accurately discriminate both known and unknown anomalies from normal data points. Experimental results show that the ABC achieves higher detection performance than existing supervised and unsupervised methods.

研究动机与目标

• 解决纯监督异常检测方法的局限性，即在未知异常上失效，且在类别不平衡问题上表现困难。
• 克服现有半监督方法（如限制重构能力，LRC）的不稳定性，后者虽最大化异常的重构误差，但因训练不稳定而受限。
• 在自编码器基础上的异常检测中整合标签信息，同时不牺牲检测未知异常的能力。
• 开发一种在已知异常稀少或在训练数据中代表性不足时仍能保持高性能的方法。
• 构建一个统一框架，当无已知异常时，其行为如同无监督自编码器，确保在低数据场景下的鲁棒性。

提出的方法

• 将给定数据点的标签（正常/异常）的条件概率建模为伯努利分布。
• 使用该伯努利分布的负对数似然作为损失函数，其由自编码器的重构误差近似。
• 训练自编码器以最小化正常数据点的重构误差，同时最大化已知异常的重构误差，从而有效学习一个分离正常与异常数据的决策边界。
• 通过在上下界上约束目标函数来确保训练稳定性，与 LRC 不同，后者在重构误差上缺乏上界。
• 利用所得的条件概率作为比原始重构误差更可靠的异常评分。
• 通过学习一个能良好重构正常数据但对已知和未知异常均失效的潜在表示，使模型能够泛化至未知异常。

实验结果

研究问题

• RQ1 能否设计一种监督异常检测方法，以有效检测已知和未知异常？
• RQ2 如何在不破坏训练稳定性的前提下，将标签信息整合进基于自编码器的模型？
• RQ3 结合监督与无监督原理的混合方法是否优于纯监督或纯无监督方法？
• RQ4 当已知异常数量较少或类别不平衡时，该方法表现如何？
• RQ5 当训练期间无已知异常时，模型是否仍能保持自编码器的特性？

主要发现

• ABC 在多个基准数据集（包括 MNIST、KDD’99、CIFAR-10 和 2D-Toy）上达到最先进性能，AUROC 分数持续优于现有监督与无监督方法。
• 在 2D-Toy 数据集上，ABC 在设定 1 下对已知异常的 AUROC 达到 0.997(001)，对未知异常的 AUROC 达到 0.988(019)，展现出对未见异常的强大泛化能力。
• 当已知异常数量减少时，ABC 仍保持高性能（已知异常的 AUROC ≈ 0.965），而其他监督方法如 RUSBoost 和 DNN 显著退化。
• 在设定 2 中，ABC 在 MNIST 上对已知异常的 AUROC 达到 0.999(000)，对未知异常的 AUROC 达到 0.823(016)，即使在异常数据有限的情况下也表现出鲁棒性。
• ABC 的正常数据点与异常的训练损失保持稳定，而 LRC 因重构误差无上界而出现不稳定的优化。
• 当无已知异常时，ABC 表现为标准自编码器，确保在低数据场景下的一致性能，无需重新训练或修改网络架构。