[论文解读] MSD-Kmeans: A Novel Algorithm for Efficient Detection of Global and Local Outliers

Yuanyuan Wei, Julian Jang‐Jaccard+2 more|arXiv (Cornell University)|Oct 15, 2019

Anomaly Detection Techniques and Applications参考文献 30被引用 8

一句话总结

本文提出MSD-Kmeans，一种混合异常检测算法，首先利用均值和标准差（MSD）过滤噪声数据，然后通过K-means聚类检测全局和局部异常值。在纽约市出租车费用数据上的评估显示，MSD-Kmeans在检测费用欺诈方面取得了最高的精确率（98.6%）、准确率（97.4%）和F1值（98.6%），优于独立使用的MSD、K-means、Z得分、MIQR和LOF，且误报率更低。

ABSTRACT

Outlier detection is a technique in data mining that aims to detect unusual or unexpected records in the dataset. Existing outlier detection algorithms have different pros and cons and exhibit different sensitivity to noisy data such as extreme values. In this paper, we propose a novel cluster-based outlier detection algorithm named MSD-Kmeans that combines the statistical method of Mean and Standard Deviation (MSD) and the machine learning clustering algorithm K-means to detect outliers more accurately with the better control of extreme values. There are two phases in this combination method of MSD-Kmeans: (1) applying MSD algorithm to eliminate as many noisy data to minimize the interference on clusters, and (2) applying K-means algorithm to obtain local optimal clusters. We evaluate our algorithm and demonstrate its effectiveness in the context of detecting possible overcharging of taxi fares, as greedy dishonest drivers may attempt to charge high fares by detouring. We compare the performance indicators of MSD-Kmeans with those of other outlier detection algorithms, such as MSD, K-means, Z-score, MIQR and LOF, and prove that the proposed MSD-Kmeans algorithm achieves the highest measure of precision, accuracy, and F-measure. We conclude that MSD-Kmeans can be used for effective and efficient outlier detection on data of varying quality on IoT devices.

研究动机与目标

• 解决在大型、嘈杂的物联网数据集中检测欺诈性出租车费用异常值的挑战。
• 通过减少极端值对聚类算法的干扰，提高异常检测的准确性。
• 开发一种结合统计过滤（MSD）与机器学习聚类（K-means）的混合方法，实现稳健的异常检测。
• 在真实世界的出租车费用数据上评估所提方法，并与现有异常检测算法进行性能对比。
• 展示MSD-Kmeans算法在复杂、高容量数据集上的可扩展性和效率。

提出的方法

• 该算法在预处理阶段应用均值和标准差（MSD）方法，以识别并移除极端值后再进行聚类。
• 采用两阶段方法：首先，MSD过滤掉噪声数据，以最小化聚类形成过程中的失真；其次，K-means在清理后的数据集上执行聚类。
• K-means聚类阶段基于归一化的费用值识别局部最优聚类，从而实现对全局和局部异常值的检测。
• 使用标准指标评估性能：真正例率（TPR）、假正例率（FPR）、精确率、准确率、召回率和F1值。
• 通过并行化K-means阶段进一步优化性能，以提高计算效率，尤其适用于多核或GPU加速的物联网设备。
• 该算法在纽约市黄色出租车数据集（1.71GB，2016年1月）上进行测试，聚焦于费用金额作为异常检测特征。

实验结果

研究问题

• RQ1 结合MSD与K-means是否能提高异常检测的准确性，同时降低对噪声数据的敏感性？
• RQ2 在检测出租车费用欺诈方面，MSD-Kmeans相较于独立使用的MSD、K-means、Z得分、MIQR和LOF表现如何？
• RQ3 两阶段预处理与聚类方法在多大程度上降低了异常检测中的假正例率？
• RQ4 K-means阶段的并行化是否能显著提升MSD-Kmeans在大规模物联网数据集上的运行效率？
• RQ5 MSD-Kmeans是否能有效检测单变量费用数据中的全局和局部异常值？其在多变量特征检测中的可扩展性如何？

主要发现

• MSD-Kmeans取得了98.6%的最高F1值，表明其在所有评估算法中实现了精确率与召回率的最佳平衡。
• 该算法记录了最高的精确率（98.6%）和准确率（97.4%），证明其在识别真实异常值方面具有卓越的正确性。
• MSD-Kmeans的假正例率最低（11.6%），在减少错误异常检测方面优于所有其他算法。
• 尽管真正例率低于单独使用的MSD、Z得分或K-means，MSD-Kmeans仍因噪声干扰减少而保持了更优的整体性能。
• 并行化版本的MSD-Kmeans将运行时间缩短至842ms，显著快于K-means（1,132ms）和LOF（31,483ms），提升了计算效率。
• 该混合方法有效缓解了MSD与K-means对极端值的敏感性，证明在嘈杂的出租车费用数据上比单一方法更具鲁棒性。