[论文解读] Clustering with Outlier Removal

Hongfu Liu, Jun Li+2 more|arXiv (Cornell University)|Jan 5, 2018

Anomaly Detection Techniques and Applications参考文献 49被引用 6

一句话总结

本文提出聚类去 outlier 方法（COR），一种统一框架，通过将数据转换到二值划分空间并使用基于全息熵的新目标函数，联合优化聚类与 outlier 检测。COR 利用辅助二值矩阵实现完整的 K-means 优化，在聚类有效性与 outlier 检测准确率方面优于最先进方法，在 kddcup 数据集上比 iForest 快 170 倍。

ABSTRACT

Cluster analysis and outlier detection are strongly coupled tasks in data mining area. Cluster structure can be easily destroyed by few outliers; on the contrary, outliers are defined by the concept of cluster, which are recognized as the points belonging to none of the clusters. Unfortunately, most existing studies do not notice the coupled relationship between these two task and handle them separately. In light of this, we consider the joint cluster analysis and outlier detection problem, and propose the Clustering with Outlier Removal (COR) algorithm. Generally speaking, the original space is transformed into the binary space via generating basic partitions in order to define clusters. Then an objective function based Holoentropy is designed to enhance the compactness of each cluster with a few outliers removed. With further analyses on the objective function, only partial of the problem can be handled by K-means optimization. To provide an integrated solution, an auxiliary binary matrix is nontrivally introduced so that COR completely and efficiently solves the challenging problem via a unified K-means-- with theoretical supports. Extensive experimental results on numerous data sets in various domains demonstrate the effectiveness and efficiency of COR significantly over state-of-the-art methods in terms of cluster validity and outlier detection. Some key factors in COR are further analyzed for practical use. Finally, an application on flight trajectory is provided to demonstrate the effectiveness of COR in the real-world scenario.

研究动机与目标

• 为解决聚类与 outlier 检测在现有方法中常被分开处理的耦合性问题。
• 开发一种联合优化框架，同时提升聚类紧凑性并识别 outlier。
• 通过实现基于 K-means 的完整解法，克服聚类中 outlier 存在时的离散优化局限。
• 增强对噪声特征的鲁棒性，并提升在真实世界数据（如航班轨迹）上的性能。

提出的方法

• 通过使用随机参数或特征的 K-means 生成基本划分，将原始特征空间转换为二值划分空间。
• 提出基于全息熵的目标函数，以增强聚类紧凑性，同时去除少量 outlier。
• 引入辅助二值矩阵，将离散优化问题重新表述为连续问题，从而实现完整的 K-means 优化。
• 使用拼接的二值矩阵实现统一优化，理论支持其收敛性与有效性。
• 采用随机参数选择（RPS）与随机特征选择（RFS）生成多样化的基本划分。
• 在真实航班轨迹数据上应用 COR 算法，采用均匀采样与统一的聚类/异常值配置。

实验结果

研究问题

• RQ1 统一框架能否比分离方法更有效地联合优化聚类与 outlier 检测？
• RQ2 基于全息熵的目标函数如何提升聚类紧凑性并实现 outlier 去除？
• RQ3 在离散问题设置下，辅助二值矩阵在多大程度上实现了完整的 K-means 优化？
• RQ4 不同的基本划分生成策略（RPS 与 RFS）对 COR 性能的影响如何？
• RQ5 COR 是否能在真实世界应用（如航班轨迹 outlier 检测）中实现高准确率与高效率？

主要发现

• COR 在 kddcup 数据集上实现优异的聚类有效性与 outlier 检测性能，使用 RFS 时 F-measure 与 Jaccard 分数分别达到 21.18 与 34.95，分别超过 iForest 超过 5% 与 7%。
• COR 使用 RFS 在 kddcup 数据集上比 iForest 快 170 倍以上，同时保持具有竞争力的性能。
• COR 性能在 30 个基本划分时趋于稳定，表明 30 个划分足以获得高质量结果。
• 在 shuttle 与 kddcup 数据集上，RFS 优于 RPS，能缓解噪声特征的影响并生成更优的基本划分。
• COR 有效识别出两类航班轨迹 outlier：因传输错误导致的额外范围异常，以及因传感器故障导致的数据部分缺失异常。
• 在真实航班轨迹数据上的应用验证了 COR 在识别与系统可靠性及数据完整性相关的有意义异常方面的有效性。