[论文解读] A Local Density-Based Approach for Local Outlier Detection

Bo Tang, Haibo He|arXiv (Cornell University)|Jun 28, 2016

Anomaly Detection Techniques and Applications参考文献 16被引用 6

一句话总结

本文提出了一种新颖的局部异常检测方法，采用局部核密度估计（KDE）并结合三种邻居类型——k-最近邻、反向最近邻和共享最近邻——来计算基于相对密度的异常得分（RDOS）。RDOS在真实和合成数据集上优于最先进的方法（如LOF、INFLO和ODIN），尤其在最优k值下表现更优，具有更高的AUC性能，并具备参数选择的理论依据。

ABSTRACT

This paper presents a simple but effective density-based outlier detection approach with the local kernel density estimation (KDE). A Relative Density-based Outlier Score (RDOS) is introduced to measure the local outlierness of objects, in which the density distribution at the location of an object is estimated with a local KDE method based on extended nearest neighbors of the object. Instead of using only $k$ nearest neighbors, we further consider reverse nearest neighbors and shared nearest neighbors of an object for density distribution estimation. Some theoretical properties of the proposed RDOS including its expected value and false alarm probability are derived. A comprehensive experimental study on both synthetic and real-life data sets demonstrates that our approach is more effective than state-of-the-art outlier detection methods.

研究动机与目标

• 解决现有局部异常检测方法依赖单一邻居类型或缺乏稳健密度估计的局限性。
• 通过在局部密度估计中整合多种邻居关系，提升在复杂、聚类或不平衡数据中的检测准确性。
• 开发一种理论基础坚实的异常得分（RDOS），其具有可推导的期望值和误报概率，以指导实际中的参数调优。
• 在多样化的现实世界和合成数据集上，证明所提方法在性能上优于最先进的方法（如LOF、INFLO和ODIN）。

提出的方法

• 该方法基于每个对象的k-最近邻、反向最近邻和共享最近邻的组合，使用核密度估计（KDE）来估计局部密度。
• 提出基于相对密度的异常得分（RDOS），通过比较对象的局部密度与其邻居的局部密度来量化异常程度。
• RDOS通过带宽参数h的核函数计算，各点的密度通过以邻近点为中心的核函数加权和来估计。
• 采用top-n排序机制，根据RDOS值识别最异常的对象。
• 理论分析推导了RDOS的期望值及其误报概率，为实际中的最优参数选择提供指导。
• 在基准数据集（包括乳腺癌、Pen-Local、Pen-Global和Satellite）上使用AUC进行评估，涵盖不同k值。

实验结果

研究问题

• RQ1 将多种邻居类型（k-最近邻、反向最近邻和共享最近邻）结合，如何改善局部密度估计在异常检测中的表现？
• RQ2 所提出的RDOS具有哪些理论特性，例如其期望值和误报概率，这些特性如何指导参数选择？
• RQ3 在多样化的真实世界和合成数据集上，基于RDOS的方法与LOF、INFLO、ODIN和MNN相比性能如何？
• RQ4 在何种k值下，所提方法达到最优性能，原因是什么？

主要发现

• 在乳腺癌、Pen-Local、Pen-Global和Satellite数据集上，RDOS方法优于LOF、INFLO、ODIN和MNN，尤其当k设为5或15时表现更优。
• 在Pen-Global数据集上，当k=15时，RDOS取得最高AUC，性能排序为：RDOS > LOF > INFLO > ODIN > MNN。
• 在Satellite数据集上，当k>25时，RDOS取得最佳AUC，且在此范围内优于INFLO。
• 所有方法在小k值（如k<5）时性能均下降，表明邻域表示不足。
• MNN方法在所有数据集中表现最差，表明其基于邻居的密度估计存在局限性。
• 图8、10、12和14中的ROC曲线证实，RDOS在低误报率下实现了最高的真正例率，尤其在最优k值下表现突出。