[论文解读] Improved histogram-based anomaly detector with the extended principal component features

Sunil Aryal, Arbind Agrahari Baniya+1 more|arXiv (Cornell University)|Sep 27, 2019

Anomaly Detection Techniques and Applications参考文献 14被引用 7

一句话总结

本文提出 SPAD+，一种增强的基于直方图的异常检测器，通过将原始特征与主成分（PCs）结合，捕捉相关联的多维模式，从而提高检测精度。通过扩展特征空间以引入主成分，SPAD+ 有效检测了 I 类异常（单特征异常）和 II 类异常（多维异常），在运行时开销极小的前提下，性能显著优于基线 SPAD 和当前最先进方法。

ABSTRACT

In this era of big data, databases are growing rapidly in terms of the number of records. Fast automatic detection of anomalous records in these massive databases is a challenging task. Traditional distance based anomaly detectors are not applicable in these massive datasets. Recently, a simple but extremely fast anomaly detector using one-dimensional histograms has been introduced. The anomaly score of a data instance is computed as the product of the probability mass of histograms in each dimensions where it falls into. It is shown to produce competitive results compared to many state-of-the-art methods in many datasets. Because it assumes data features are independent of each other, it results in poor detection accuracy when there is correlation between features. To address this issue, we propose to increase the feature size by adding more features based on principal components. Our results show that using the original input features together with principal components improves the detection accuracy of histogram-based anomaly detector significantly without compromising much in terms of run-time.

研究动机与目标

• 解决基于直方图的异常检测器在检测非单个特征异常但存在于多维子空间中的异常时的局限性。
• 在不显著增加运行时间的前提下，提升 SPAD 方法的检测精度。
• 探究主成分是否能通过捕捉单变量直方图所忽略的特征相关性，从而增强异常检测能力。
• 为大规模数据中的异常检测建立一种新型快速、高效且有效的基线方法。

提出的方法

• 通过数据的协方差矩阵计算主成分（PCs），扩展输入特征空间。
• 在原始特征与主成分的组合特征空间上应用 SPAD 算法，计算异常得分。
• 将所有维度（包括原始特征和主成分）的单变量直方图概率相乘，作为异常得分。
• 利用 PCA 将相关联的输入特征转换为不相关、正交的成分，以捕捉线性关系。
• 通过保留基于直方图的评分机制，维持计算效率，该机制本身具有高效率和可扩展性。
• 发挥互补优势：原始特征检测 I 类异常，而主成分检测相关子空间中的 II 类异常。

实验结果

研究问题

• RQ1 在特征空间中增加主成分是否能提升对单变量直方图无法检测的异常的检测能力？
• RQ2 引入主成分是否在不带来显著计算成本的前提下，显著提升 SPAD 算法的性能？
• RQ3 SPAD+ 在准确率和运行时间方面与传统 k-NN 及其他快速异常检测方法相比如何？
• RQ4 为何 LOF 和 iForest 等方法在增加主成分后性能未提升，而 SPAD+ 却能受益？

主要发现

• SPAD+ 在 15 个基准数据集上显著优于 SPAD，AUC 平均值从 0.8432 提升至 0.8662。
• SPAD+ 在 AUC 方面优于 k-NN 和 iForest，在所有数据集上达到最高的平均 AUC（0.8662）。
• 该方法保持了高运行速度，比大多数现有快速异常检测算法更快，适用于大规模数据。
• 在 LOF 和 iForest 中增加主成分无法提升性能，因为其异常得分已基于多维距离或随机划分，主成分变得冗余或具有误导性。
• SPAD+ 通过利用相关联的主成分，有效检测 II 类异常——即在单个特征上正常但在联合子空间中异常的样本。
• SPAD+ 中使用主成分可避免 iForest 中常见的误报问题，因为主成分相互正交，不会人为引入相关性。