[论文解读] Fast Noise Removal for $k$-Means Clustering

Sungjin Im, Mahshid Montazer Qaem+3 more|arXiv (Cornell University)|Mar 5, 2020

Anomaly Detection Techniques and Applications参考文献 26被引用 12

一句话总结

本文提出 NK-means，一种快速、贪心的预处理算法，可为 $k$-means 聚类去除异常值，并提供可证明的保证。通过将带异常值的 $k$-means 问题转化为标准 $k$-means 的伪近似保持变换，该方法可与任意 $k$-means 算法集成——实现近乎线性时间复杂度，并在真实世界数据集上表现出优异的实验性能，具有高精度和高稳定性。

ABSTRACT

This paper considers $k$-means clustering in the presence of noise. It is known that $k$-means clustering is highly sensitive to noise, and thus noise should be removed to obtain a quality solution. A popular formulation of this problem is called $k$-means clustering with outliers. The goal of $k$-means clustering with outliers is to discard up to a specified number $z$ of points as noise/outliers and then find a $k$-means solution on the remaining data. The problem has received significant attention, yet current algorithms with theoretical guarantees suffer from either high running time or inherent loss in the solution quality. The main contribution of this paper is two-fold. Firstly, we develop a simple greedy algorithm that has provably strong worst case guarantees. The greedy algorithm adds a simple preprocessing step to remove noise, which can be combined with any $k$-means clustering algorithm. This algorithm gives the first pseudo-approximation-preserving reduction from $k$-means with outliers to $k$-means without outliers. Secondly, we show how to construct a coreset of size $O(k \log n)$. When combined with our greedy algorithm, we obtain a scalable, near linear time algorithm. The theoretical contributions are verified experimentally by demonstrating that the algorithm quickly removes noise and obtains a high-quality clustering.

研究动机与目标

• 为解决噪声存在下 $k$-means 聚类的挑战，因为噪声会严重降低解的质量。
• 开发一种简单、高效的预处理步骤，在保留聚类质量的同时去除异常值。
• 首次提出从带异常值的 $k$-means 到标准 $k$-means 的伪近似保持还原方法。
• 设计一种具有理论保证的可扩展算法，其运行时间与解的质量均优于现有方法。
• 在具有不同噪声水平和数据规模的真实世界数据集上，对方法进行实证验证。

提出的方法

• 提出 NK-means，一种贪心算法，通过迭代移除到其最近中心的平方距离最大的点，有效过滤异常值。
• 在任何 $k$-means 聚类算法之前应用该预处理步骤，从而与现有方法（如 $k$-means++）兼容。
• 构建大小为 $O(k\log n)$ 的核心集，以实现高效计算，同时保持近似保证。
• 将贪心异常值去除与核心集构建相结合，实现近乎线性时间复杂度。
• 使用归一化目标函数比较不同数据集上的性能，确保评估的公平性。
• 在实验中采用噪声注入策略：在 $[-\Delta, \Delta]^d$ 范围内随机添加 $1\%$ 的点以模拟异常值。

实验结果

研究问题

• RQ1 一个简单的贪心预处理步骤是否能有效去除 $k$-means 聚类中的异常值，同时保持强大的理论保证？
• RQ2 是否可以通过伪近似保持变换，将带异常值的 $k$-means 问题还原为标准 $k$-means 问题？
• RQ3 基于核心集的方法是否能实现在保持解质量的前提下，近乎线性时间的 $k$-means 带异常值聚类？
• RQ4 与现有最先进方法相比，所提出的 NK-means 算法在运行时间、目标值和真实数据集上的精确度方面表现如何？
• RQ5 该算法在不同数据分布和噪声水平下是否保持稳定性和高性能？

主要发现

• NK-means 在除 Skin-5 外的所有真实世界数据集上均取得了最佳目标值，而在 Skin-5 上也仅比最优值低 5%。
• 该算法在所有数据集上的精确度均高于 0.99，表现出优于其他方法的稳定性和准确性。
• NK-means 在所有数据集上的运行时间均低于 4 小时，且是具有可证明保证的算法中运行最快者。
• 在 KddFull 数据集（480 万个点）上，即使未添加人工噪声，NK-means 在目标值上也显著优于其他方法。
• 结合 NK-means 预处理的核心集版本 $k$-means++ 实现了具有竞争力的运行时间和精确度，展现出良好的可扩展性。
• 实验结果证实，NK-means 是本研究中唯一具有最坏情况理论保证的算法，这可能解释了其表现的一致性。