[论文解读] Distributed k-Means and k-Median Clustering on General Topologies

Maria Florina Balcan, Steven Ehrlich+1 more|arXiv (Cornell University)|Jun 3, 2013

Complex Network Analysis Techniques参考文献 21被引用 61

一句话总结

本文提出了一种在通用网络拓扑上实现低通信开销的分布式 $k$-means 和 $k$-median 聚类算法，通过构建全局 $\epsilon$-coreset 实现。通过让每个节点仅使用其本地数据和本地聚类的近似代价来计算本地 coreset，该方法相比以往基于 coreset 的方法将通信复杂度降低了 $n$ 倍，实现了极低协调开销下的可证明近似保证。

ABSTRACT

This paper provides new algorithms for distributed clustering for two popular center-based objectives, k-median and k-means. These algorithms have provable guarantees and improve communication complexity over existing approaches. Following a classic approach in clustering by \cite{har2004coresets}, we reduce the problem of finding a clustering with low cost to the problem of finding a coreset of small size. We provide a distributed method for constructing a global coreset which improves over the previous methods by reducing the communication complexity, and which works over general communication topologies. Experimental results on large scale data sets show that this approach outperforms other coreset-based distributed clustering algorithms.

研究动机与目标

• 解决在无中心协调器的通用网络拓扑中实现可扩展、低通信开销的分布式聚类的挑战。
• 在保持聚类质量强理论保证的前提下，降低分布式聚类中的通信开销。
• 设计一种可在任意连通图上高效扩展的 coreset 构造方法，避免基于树的 coreset 合并带来的高通信成本。
• 在大规模数据集上，相比现有基于 coreset 的算法，在通信效率和聚类代价方面均实现性能超越。

提出的方法

• 每个节点仅使用其本地数据和本地聚类的总代价，计算其数据的局部近似解，并构建全局 coreset 的局部部分。
• 该算法依赖于一种仅需每个节点传输单个标量值（即本地代价）的分布式 coreset 构造机制，从而将通信量降至最低。
• 采用消息传递框架在全网范围内聚合本地 coreset 部分，实现在任意连通拓扑中的高效 coreset 共享。
• coreset 构造基于以下思想：一组加权点的子集可近似表示全数据集在任意中心集上的代价，从而确保在 coreset 上的近似解对原始数据集也具有近似性。
• 对于 $d$-维欧氏空间中的 $k$-median 和 $k$-means，全局 coreset 大小为 $\tilde{O}(kd + nk)$，当 $n$ 较大时显著小于其他方法。
• 通过将 $d$ 替换为总点数的对数，该方法可推广至一般度量空间，同时保持理论保证。

实验结果

研究问题

• RQ1 在任意网络拓扑上，是否可实现一种分布式 $k$-median/$k$-means 算法，在低通信开销下获得可证明的近似保证？
• RQ2 如何实现 coreset 构造的分布式化，以避免基于树的 coreset 合并中固有的通信爆炸问题？
• RQ3 当节点通过任意图连接而非集中式或树形拓扑连接时，构建全局 coreset 的通信复杂度是多少？
• RQ4 在实践中，该方法在通信成本和聚类质量方面相较于现有基于 coreset 的算法能实现多大程度的性能提升？

主要发现

• 由于避免了传输大型中间 coreset 的需求，该算法在通用图中相比以往基于 coreset 的方法将通信成本降低了 $n$ 倍。
• 在固定通信预算下，该算法在聚类代价上相比 COMBINE 算法提升了 2%–5%，同时达到相同近似比时通信量减少 10%–20%。
• 在生成树上，该算法相比 Zhang 等人的方法在聚类代价上提升了约 20%，归因于更小的 coreset 大小和更少的误差累积。
• 在 $d$-维欧氏空间中，$k$-median 和 $k$-means 的全局 coreset 大小为 $\tilde{O}(kd + nk)$，在对数因子范围内为最优。
• 该方法在一般度量空间中仍能保持对 $k$-median 和 $k$-means 目标函数的可证明 $(1+\epsilon)$-近似保证。
• 在大规模数据集上的实验结果表明，该算法在通信效率和解的质量方面均优于现有的基于 coreset 的分布式聚类方法。