[论文解读] Anomaly Detection with Score functions based on Nearest Neighbor Graphs

Manqi Zhao, Venkatesh Saligrama|ArXiv.org|Oct 28, 2009

Anomaly Detection Techniques and Applications参考文献 17被引用 80

一句话总结

本文提出一种基于名义数据上K近邻图（K-NNG）导出的得分函数的非参数异常检测算法。通过估计包含每个测试点的最小体积（MV）水平集的体积，该方法在渐近意义上实现最优检测，并具备可证明的误报率控制，其计算复杂度在维度上呈线性增长，在数据量上呈二次增长，且无需调参或密度假设。

ABSTRACT

We propose a novel non-parametric adaptive anomaly detection algorithm for high dimensional data based on score functions derived from nearest neighbor graphs on $n$-point nominal data. Anomalies are declared whenever the score of a test sample falls below $α$, which is supposed to be the desired false alarm level. The resulting anomaly detector is shown to be asymptotically optimal in that it is uniformly most powerful for the specified false alarm level, $α$, for the case when the anomaly density is a mixture of the nominal and a known density. Our algorithm is computationally efficient, being linear in dimension and quadratic in data size. It does not require choosing complicated tuning parameters or function approximation classes and it can adapt to local structure such as local change in dimensionality. We demonstrate the algorithm on both artificial and real data sets in high dimensional feature spaces.

研究动机与目标

• 开发一种非参数异常检测方法，能够在高维空间中自适应地捕捉局部数据结构，且无需密度假设。
• 提供一种计算高效的替代方法，以替代依赖复杂调参或函数逼近类别的现有方法。
• 通过将得分函数与最小体积（MV）集合及多元p值相联系，实现可证明的最优检测性能。
• 在无需显式计算高维水平集的情况下，精确控制在指定水平α的误报率。
• 在真实和合成数据中，展示对不同局部维度和流形结构的鲁棒性与适应性。

提出的方法

• 在名义训练数据上构建K近邻图（K-NNG），以捕捉局部邻域结构。
• 将每个测试点的得分函数定义为其所在最小体积（MV）水平集体积的经验估计值。
• 利用K-NN图间接计算MV集合的体积，避免直接计算高维水平集。
• 应用得分函数进行异常检测：任何得分低于阈值α的测试点均被标记为异常。
• 采用留一法策略高效估计MV集合体积，确保计算可扩展性。
• 对高维数据使用测地距离，以更好地捕捉内在流形结构。

实验结果

研究问题

• RQ1 能否设计一种非参数异常检测方法，在不依赖参数假设的前提下，为指定的误报率水平α实现一致最优势检测？
• RQ2 在无需显式计算水平集的情况下，如何在高维空间中高效估计最小体积（MV）水平集的体积？
• RQ3 基于K-NNG的得分函数在多大程度上能近似真实多元p值，并确保最优统计功效？
• RQ4 该方法在真实世界数据中如何适应维度和内在流形结构的局部变化？
• RQ5 所提出的方法是否能在误报率控制和计算效率方面优于现有方法（如一类SVM或K-NN）？

主要发现

• 所提出的K-LPE（基于K近邻的局部p值估计）算法即使在小样本训练集（n=160）下，其ROC曲线也极为接近“全知”最优ROC曲线，展现出强大的经验性能。
• 在USPS数据集上，当α=0.5时，该方法的假阳性率（FP）为6.1%，误报率（FA）为5.7%，优于同类条件下的OC-SVM（FP=7%，FA=9%）。
• 该算法在维度上呈线性增长，在数据量上呈二次增长，适用于高维特征空间。
• 得分函数在渐近意义上是一致的，随着样本量增加，其收敛于真实的多元p值。
• 该方法无需调参，如核带宽或函数逼近类别，简化了部署过程。
• K-LPE变体相较于ε-LPE更具实用性，因为K的选择更为简便，且K ≈ n^{2/5}在不同维度下均作为稳健的经验法则。