[论文解读] A Practical Algorithm for Distributed Clustering and Outlier Detection

Jiecao Chen, Erfan Sadeqi Azer+1 more|arXiv (Cornell University)|May 24, 2018

Anomaly Detection Techniques and Applications参考文献 18被引用 5

一句话总结

本论文提出了一种实用的、通信和时间效率高的分布式聚类算法，用于处理异常值问题，采用了一种新颖的一轮摘要构建方法。该算法在理论近似保证方面表现优异，并在真实和合成数据集上，于聚类质量、异常值检测、通信成本和运行时间方面均优于基线方法。

ABSTRACT

We study the classic $k$-means/median clustering, which are fundamental problems in unsupervised learning, in the setting where data are partitioned across multiple sites, and where we are allowed to discard a small portion of the data by labeling them as outliers. We propose a simple approach based on constructing small summary for the original dataset. The proposed method is time and communication efficient, has good approximation guarantees, and can identify the global outliers effectively. To the best of our knowledge, this is the first practical algorithm with theoretical guarantees for distributed clustering with outliers. Our experiments on both real and synthetic data have demonstrated the clear superiority of our algorithm against all the baseline algorithms in almost all metrics.

研究动机与目标

• 解决大规模、分区化数据集中的可扩展、高效分布式聚类与异常值检测挑战。
• 在单轮通信的协调者模型中，最小化通信与计算开销。
• 为聚类目标和异常值识别提供理论近似保证。
• 在保持高聚类准确率的同时，有效检测全局异常值。
• 设计一种可扩展至大规模数据集的实用算法，并在真实世界与合成基准测试中优于现有方法。

提出的方法

• 在每个站点使用球体增长启发式方法构建本地数据的轻量级摘要，以识别潜在中心点和异常值。
• 采用单轮通信模型，各站点仅向协调者发送其摘要，从而最小化通信成本。
• 在合并的摘要上应用集中式聚类算法，以计算最终的聚类中心并标记异常值。
• 利用理论边界确保摘要大小在对抗性分区下为 O(k log n + t)，在随机分区下为 O(k log n + t/s)。
• 对高维数据集成降维技术（如 Johnson-Lindenstrauss 引理）以保持效率。
• 确保最终解对最优 (k,t)-means/median 目标实现 O(γ)-近似，前提是第二层算法对问题实现 γ-近似。

实验结果

研究问题

• RQ1 能否为带异常值的 (k,t)-means/median 问题设计一种具有理论保证的实用分布式聚类算法？
• RQ2 在单轮分布式环境中，如何在保持聚类质量的同时最小化通信与计算开销？
• RQ3 该算法在多大程度上能有效识别跨分布式数据分区的全局异常值？
• RQ4 与现有方法相比，所提出的摘要构建方法在可扩展性、准确性和效率方面表现如何？
• RQ5 该算法能否在保持强理论近似保证的同时，适用于真实世界数据集？

主要发现

• 所提出的球体增长算法在所有指标上均表现最佳，包括聚类损失、精确率、召回率和异常值检测质量。
• 球体增长、k-means++ 和 rand 的通信开销几乎与站点数量无关，而 k-means‖ 在 20 个站点时通信开销高出 20 倍，原因在于其多轮通信机制。
• 球体增长算法平均比 k-means‖ 快 25 倍，比 k-means++ 快 7 倍，且运行时间随摘要大小线性增长。
• 该算法表现出高度稳定性，重复实验中标准差较低（例如，球体增长的 ℓ₁-loss 标准差为 1.1E4）。
• k-means‖ 和 k-means++ 在异常值检测方面优于 rand，但球体增长在精确率和召回率方面显著超越所有基线方法。
• 当第二层聚类算法实现 γ-近似时，该算法可实现对最优解的 O(γ)-近似，提供了强有力的理论保证。