[论文解读] Learning Efficient Anomaly Detectors from $K$-NN Graphs

Jing Qian, Jonathan Root+1 more|arXiv (Cornell University)|Feb 6, 2015

Anomaly Detection Techniques and Applications被引用 4

一句话总结

该论文提出了一种非参数异常检测方法，利用K-NN图基于平均K-NN距离计算异常得分，随后通过最大间隔学习排序训练轻量级模型以预测p值得分。该方法在决策区域收敛至最小体积水平集方面具有渐近最优性，并在测试时间复杂度为O(ds)时展现出显著的计算效率，其中s为模型复杂度。

ABSTRACT

We propose a non-parametric anomaly detection algorithm for high dimensional data. We score each datapoint by its average $K$-NN distance, and rank them accordingly. We then train limited complexity models to imitate these scores based on the max-margin learning-to-rank framework. A test-point is declared as an anomaly at $α$-false alarm level if the predicted score is in the $α$-percentile. The resulting anomaly detector is shown to be asymptotically optimal in that for any false alarm rate $α$, its decision region converges to the $α$-percentile minimum volume level set of the unknown underlying density. In addition, we test both the statistical performance and computational efficiency of our algorithm on a number of synthetic and real-data experiments. Our results demonstrate the superiority of our algorithm over existing $K$-NN based anomaly detection algorithms, with significant computational savings.

研究动机与目标

• 解决现有基于K-NN的异常检测方法在高维数据下计算效率低下的问题。
• 开发一种在不同误报率下具有良好泛化能力且无需重新训练的方法。
• 通过收敛至基础密度的最小体积水平集，实现在决策区域估计中的统计最优性。
• 利用学习排序框架训练紧凑模型，保留数据点按密度排序的顺序，从而实现高效推理。
• 在高维设置下实现统计性能与计算效率的平衡，以适用于现实世界的异常检测。

提出的方法

• 使用每个训练点的平均K-NN距离来估计局部密度，距离越短表示名义密度越高。
• 利用最大间隔学习排序框架训练函数预测器，根据K-NN距离将数据点映射为p值得分。
• 采用凸替代损失函数（如合页损失），该函数非增且可微，确保按估计密度对点进行最优排序。
• 将异常检测器定义为阈值规则：若测试点的预测得分落在α百分位数内，则判定为异常，对应于误报率α。
• 实现测试时间复杂度O(ds)，其中d为环境维度，s为模型复杂度，相比O(dn)或O(dn²)方法显著降低运行时间。
• 通过证明在i.i.d.采样下，学习到的排序器能保持真实密度排序，确保渐近最优性。

实验结果

研究问题

• RQ1 基于K-NN图的非参数异常检测方法是否能在决策区域估计中实现渐近最优性？
• RQ2 如何在不牺牲统计性能的前提下降低基于K-NN的异常检测的计算成本？
• RQ3 学习排序框架能否有效将K-NN距离的异常得分泛化至未见的测试点？
• RQ4 基于K-NN距离的得分与基础密度的最小体积水平集之间存在何种关系？
• RQ5 所提方法是否在不同误报率和高维数据下均保持优异的AUC性能？

主要发现

• 所提方法具有渐近最优性：对于任意误报率α，其决策区域收敛至未知密度的α百分位数最小体积水平集。
• 测试时间复杂度为O(ds)，其中s为模型复杂度，相比现有K-NN方法的O(dn)或O(dn²)复杂度，显著提升了计算效率。
• 采用合页损失的学习排序框架确保模型在温和正则性条件下保持真实密度排序，如理论所证明。
• 在合成数据集和真实世界数据集上的实证结果表明，该方法在统计性能（AUC）和计算效率方面均优于先前的基于K-NN的异常检测方法。
• 该方法在不同误报水平下具有良好的泛化能力，因其输出p值得分，可在无需重新训练的情况下动态调整任意α水平的阈值。
• 理论分析证实，通过最大间隔学习排序训练的排序器能正确对点按其基础密度进行排序，即使密度未知亦成立。