[论文解读] Deep Weakly-supervised Anomaly Detection

Guansong Pang, Chunhua Shen+2 more|arXiv (Cornell University)|Oct 30, 2019

Anomaly Detection Techniques and Applications参考文献 50被引用 33

一句话总结

PReNet 是一种深度弱监督的异常检测器，通过学习异常-异常、异常-未标注、未标注-未标注三种对的关系来检测已知和未知异常，对未标注数据中的异常污染具有很强鲁棒性。

ABSTRACT

Recent semi-supervised anomaly detection methods that are trained using small labeled anomaly examples and large unlabeled data (mostly normal data) have shown largely improved performance over unsupervised methods. However, these methods often focus on fitting abnormalities illustrated by the given anomaly examples only (i.e.,, seen anomalies), and consequently they fail to generalize to those that are not, i.e., new types/classes of anomaly unseen during training. To detect both seen and unseen anomalies, we introduce a novel deep weakly-supervised approach, namely Pairwise Relation prediction Network (PReNet), that learns pairwise relation features and anomaly scores by predicting the relation of any two randomly sampled training instances, in which the pairwise relation can be anomaly-anomaly, anomaly-unlabeled, or unlabeled-unlabeled. Since unlabeled instances are mostly normal, the relation prediction enforces a joint learning of anomaly-anomaly, anomaly-normal, and normal-normal pairwise discriminative patterns, respectively. PReNet can then detect any seen/unseen abnormalities that fit the learned pairwise abnormal patterns, or deviate from the normal patterns. Further, this pairwise approach also seamlessly and significantly augments the training anomaly data. Empirical results on 12 real-world datasets show that PReNet significantly outperforms nine competing methods in detecting seen and unseen anomalies. We also theoretically and empirically justify the robustness of our model w.r.t. anomaly contamination in the unlabeled data. The code is available at https://github.com/mala-lab/PReNet.

研究动机与目标

• 激发并解决现有半监督异常检测器对已知异常过拟合且难以处理未知异常的问题。
• 提出一个对关系学习框架(PReNet)，使用异常-异常、异常-未标注、未标注-未标注三种对来学习泛化的异常分数。
• 在利用大量未标注数据与有限标记异常的同时，实现对已知与未知异常的鲁棒检测。
• 提供对异常污染鲁棒性的理论依据，并在真实世界数据集上展示出强大的实证表现。

提出的方法

• 将异常评分表述为三个对类型上的成对关系预测任务：异常-异常、异常-未标注、未标注-未标注。
• 构建一个带有序标签的实例对数据集，其中 c(a,a) > c(a,u) > c(u,u) 以指导异常分数的学习。
• 使用带共享特征提取器的双流神经网络来计算对表示，并使用线性评分头来产生异常分数。
• 使用三类有序回归损失进行训练，最小化预测分数与有序标签之间的差距，并对与异常相关的对进行过采样以解决类别不平衡。
• 通过对带标签异常和未标注数据的多组随机配对的对分数进行平均来推断测试实例的异常分数。
• 3.3 使用 PReNet 的异常检测描述了训练和推断过程，包括通过多个配对计算得到的集合式评分 s_xk。

实验结果

研究问题

• RQ1 通过从对关系学习而非具体异常示例来学习，弱监督框架是否能够推广到未知的异常类型？
• RQ2 与现有半监督和无监督方法相比，成对关系学习如何提升检测性能和样本效率？
• RQ3 PReNet 方法在未标注数据的异常污染下是否鲁棒，以及在何种条件下？

主要发现

• PReNet 在12个真实世界数据集上对已知和未知异常检测显著优于九种竞争方法（在 AUC-PR 与 AUC-ROC 方面）。
• PReNet 在异常检测性能上更高，样本效率显著提升，在某些设置中需要的有标注异常数据减少50%-87.5%。
• 该方法在未标注数据存在异常污染时仍具鲁棒性，具有理论保证和实证支持。
• 实证结果在一系列基准数据集上显著优于最先进的方法。