[论文解读] Classification-Based Anomaly Detection for General Data

Liron Bergman, Yedid Hoshen|arXiv (Cornell University)|May 5, 2020

Anomaly Detection Techniques and Applications参考文献 22被引用 99

一句话总结

GOAD 将开集与基于变换的分类结合，用于在一般数据（包括表格数据）上进行异常检测，使用仿射变换和在学习特征空间中基于距离的评分。

ABSTRACT

Anomaly detection, finding patterns that substantially deviate from those seen previously, is one of the fundamental problems of artificial intelligence. Recently, classification-based methods were shown to achieve superior results on this task. In this work, we present a unifying view and propose an open-set method, GOAD, to relax current generalization assumptions. Furthermore, we extend the applicability of transformation-based methods to non-image data using random affine transformations. Our method is shown to obtain state-of-the-art accuracy and is applicable to broad data types. The strong performance of our method is extensively validated on multiple datasets from different domains.

研究动机与目标

• 促使改进仅需正常训练数据的半监督、基于分类的方法以提升异常检测。
• 提出一个统一框架（GOAD），通过仿射变换将基于变换的方法扩展到通用数据。
• 学习一个判别性特征空间，使变换后的子空间分离良好，异常通过到子空间中心的距离进行评分。
• 将变换集合泛化到超越图像的仿射变换，以实现广泛适用性，包括表格数据。
• 展示对对抗攻击的鲁棒性并在多域进行验证（图像与表格）。

提出的方法

• 通过学习的仿射变换 T(x,m)=Wm x + bm，将数据变换为 M 个子空间 X1,...,XM。
• 在特征空间中将每个子空间建模为中心 cm；使用三元组中心损失来衡量距离，推动簇内紧凑性和簇间分离（式(3)）。
• 将变换似然度计算为对中心距离的负值取softmax（式(2)），并对不确定区域引入一个小的 epsilon 做正则化（式(4)）。
• 将变换后样本的似然聚合，得到正态性分数 Score(x) = - sum_m log P̃(T(x,m) ∈ Xm)（式(5)）。
• 将变换扩展为仿射映射，以处理非图像数据并提升对抗样本的鲁棒性。
• 将基于开集的 GOAD 与 softmax 风格方法进行比较，并在图像（CIFAR-10、Fashion-MNIST）与表格数据集（医疗与网络安全）上进行评估。

实验结果

研究问题

• RQ1 能否通过一个统一的、开集驱动的、基于变换的方法在包括表格数据在内的一般数据类型上提升异常检测？
• RQ2 将变换扩展到仿射映射是否提升对比仅图像的几何变换的泛化性和鲁棒性？
• RQ3 GOAD 在多领域相对于最先进的基于分类与重建的异常检测器表现如何？
• RQ4 在仅有正常数据的半监督场景中，基于中心聚类的学习特征空间在检测异常方面是否有效？
• RQ5 随机化变换对对抗操控鲁棒性有何影响？

主要发现

数据集	方法	ROC-AUC (%)
CIFAR-10	Deep-SVDD	64.8
CIFAR-10	GEOM (no Dirichlet)	81.6
CIFAR-10	GEOM (w. Dirichlet)	86.0
CIFAR-10	GOAD (Ours)	88.2
Fashion-MNIST	Deep-SVDD	92.8
Fashion-MNIST	GEOM (no Dirichlet)	79.8
Fashion-MNIST	GEOM (w. Dirichlet)	93.5
Fashion-MNIST	GOAD (Ours)	94.1

• GOAD 在 CIFAR-10 与 Fashion-MNIST 异常检测基准上达到最先进或具竞争力的准确率。
• 同上在 CIFAR-10 上，GOAD 的平均 ROC-AUC 为 88.2%，相较于 64.8%（Deep-SVDD）、81.6%（GEOM，无 Dirichlet）、86.0%（GEOM，有 Dirichlet）。
• 在 Fashion-MNIST 上，GOAD 平均 ROC-AUC 为 94.1%，对比 92.8%（Deep-SVDD）、79.8%（GEOM，无 Dirichlet）、93.5%（GEOM，有 Dirichlet）。
• GOAD 通过使用随机仿射变换展现对抗攻击鲁棒性，降低攻击者在 CIFAR-10 上的利用。
• GOAD 扩展到表格数据集（Arrhythmia、Thyroid、KDD、KDDRev），在多个指标上优于许多基线（OC-SVM、E2E-AE、LOF、DAGMM、FB-AE），特别是在 KDD/KDDRev；随机变换提升鲁棒性。
• 增加变换数量通常降低分数方差，并在较大数据集上提升性能；对稳定结果建议至少大约 16 个任务。