[论文解读] Linear-time Outlier Detection via Sensitivity

Mario Lučić, Olivier Bachem+1 more|arXiv (Cornell University)|May 2, 2016

Anomaly Detection Techniques and Applications参考文献 21被引用 8

一句话总结

该论文提出了一种基于敏感度的线性时间异常检测算法——敏感度定义为数据点对聚类目标函数的最坏情况影响。通过计算影响（sensitivity 的可计算上界），该方法在保持高准确率的同时实现了极快的运行速度，优于当前最先进的基于距离的异常检测方法，尤其在大规模数据集上速度提升达数个数量级。

ABSTRACT

Outliers are ubiquitous in modern data sets. Distance-based techniques are a popular non-parametric approach to outlier detection as they require no prior assumptions on the data generating distribution and are simple to implement. Scaling these techniques to massive data sets without sacrificing accuracy is a challenging task. We propose a novel algorithm based on the intuition that outliers have a significant influence on the quality of divergence-based clustering solutions. We propose sensitivity - the worst-case impact of a data point on the clustering objective - as a measure of outlierness. We then prove that influence, a (non-trivial) upper-bound on the sensitivity, can be computed by a simple linear time algorithm. To scale beyond a single machine, we propose a communication efficient distributed algorithm. In an extensive experimental evaluation, we demonstrate the effectiveness and establish the statistical significance of the proposed approach. In particular, it outperforms the most popular distance-based approaches while being several orders of magnitude faster.

研究动机与目标

• 解决大规模数据集中基于距离的异常检测方法的可扩展性挑战。
• 开发一种非参数化、快速且准确的异常检测方法，无需依赖分布假设。
• 引入敏感度作为衡量异常点对聚类目标函数影响的合理指标。
• 设计一种线性时间算法来计算影响，即敏感度的紧致上界，从而实现高效的异常评分。
• 确保在不同距离函数和数据分布下的鲁棒性。

提出的方法

• 将敏感度定义为数据点对任意聚类目标函数的最坏情况影响。
• 引入影响作为敏感度的可计算上界，可通过随机采样过程在 O(n) 时间内计算。
• 通过多轮随机聚类的模型平均来提升影响估计的稳定性和准确性。
• 将影响得分用作异常度量，影响值越高表示越可能是异常点。
• 设计一种通信高效的分布式算法，以实现单机之外的可扩展性。
• 利用影响可通过采样估计而无需计算全部成对距离的特性。

实验结果

研究问题

• RQ1 敏感度（即数据点对聚类目标函数的最坏情况影响）能否作为异常影响的有效且可扩展的度量？
• RQ2 影响（敏感度的可计算上界）是否能在不损失准确率的前提下实现线性时间计算？
• RQ3 所提出的基于影响的方法在性能和速度上相较于 KNN、LOF 及基于聚类的成熟方法表现如何？
• RQ4 该方法能否在多台机器上高效分布化，同时保持准确性和通信效率？
• RQ5 该方法在不同距离函数和数据分布下是否依然保持鲁棒性？

主要发现

• 所提出的基于影响的方法在 AUPRC 上相比所有对比方法均取得统计上显著的提升，且与最佳性能方法的平均均方根偏差最低。
• 在 13 个真实数据集中的 12 个上，该方法优于穷举 KNN 和 LOF，展现出更优的统计性能。
• 在 GAUSS-1M 数据集上，该方法相比近似 KNN 提速 27 倍，相比近似 LOF 提速 40 倍。
• 在 KDDCUP-FULL 数据集（490 万个点）上，影响计算在 10 分钟内完成，而穷举方法耗时超过 24 小时。
• 该方法对距离函数的选择不敏感，在多种数据分布和维度下均保持高性能。
• MNIST 上的可视化结果表明，该方法能有效检测出跨聚类的异常点，优于 KNN、LOF 及迭代采样方法，能更准确识别出有意义的异常模式。