[论文解读] Distributed Partial Clustering

Sudipto Guha, Yi Li+1 more|arXiv (Cornell University)|Mar 5, 2017

Data Management and Algorithms参考文献 17被引用 13

一句话总结

本文提出了一种通信高效的分布式算法，用于部分聚类——k-center、k-median 和 k-means——通过允许忽略少量异常点（t）来提升解的质量，实现在输入规模上的次线性通信。该文引入了新颖的技术，将通信量从 O(st) 降低至 O(t)，并首次提出部分 k-median 和 k-means 的次二次时间算法，同时首次实现了具有概率分布支持的不确定数据聚类的分布式算法。

ABSTRACT

Recent years have witnessed an increasing popularity of algorithm design for distributed data, largely due to the fact that massive datasets are often collected and stored in different locations. In the distributed setting communication typically dominates the query processing time. Thus it becomes crucial to design communication efficient algorithms for queries on distributed data. Simultaneously, it has been widely recognized that partial optimizations, where we are allowed to disregard a small part of the data, provide us significantly better solutions. The motivation for disregarded points often arise from noise and other phenomena that are pervasive in large data scenarios. In this paper we focus on partial clustering problems, $k$-center, $k$-median and $k$-means, in the distributed model, and provide algorithms with communication sublinear of the input size. As a consequence we develop the first algorithms for the partial $k$-median and means objectives that run in subquadratic running time. We also initiate the study of distributed algorithms for clustering uncertain data, where each data point can possibly fall into multiple locations under certain probability distribution.

研究动机与目标

• 设计一种通信高效的分布式算法，用于部分聚类问题，其中可忽略少量点（t）以提升解的质量。
• 在分布式协调者模型中，将部分 k-center、k-median 和 k-means 的通信复杂度从 O(st) 降低至 O(t)。
• 在分布式环境下，首次开发出部分 k-median 和 k-means 的次二次时间算法。
• 开启对不确定数据分布式聚类的研究，其中每个点具有概率位置分布。
• 在单一通信高效的框架下，统一处理部分聚类与不确定数据聚类问题。

提出的方法

• 提出一种两轮分布式算法，结合预聚类与距离阈值技术，以控制通信量与近似误差。
• 采用分层聚类方法，利用阈值 τ 对点进行分组，限制所传输的中心点与异常点数量。
• 应用随机舍入技术，将局部解转换为全局解，同时保持近似保证。
• 提出一种新颖的不确定数据编码方案，以最小通信开销捕获分布信息。
• 借鉴流算法研究成果，设计出 (k,t)-center 的单轮 O(1)-近似算法，并将其扩展至 median 与 means 问题。
• 通过在距离范围内进行二分查找，计算最优阈值 τ，而无需承担高昂的通信成本。

实验结果

研究问题

• RQ1 我们能否设计一种在次二次时间内运行且在输入规模上实现次线性通信的分布式算法，用于部分 k-median 和 k-means？
• RQ2 在分布式环境下，能否将部分聚类的通信复杂度从 O(st) 降低至 O(t)？
• RQ3 如何在最小化通信量并保持近似质量的前提下，高效处理分布式聚类中的不确定数据？
• RQ4 是否可能在单一分布式框架中统一处理部分聚类与不确定数据聚类问题？
• RQ5 我们能否仅通过两轮通信与最少的本地计算，实现部分聚类的常数倍近似？

主要发现

• 本文首次在分布式模型中提出部分 k-median 和 k-means 的次二次时间算法，显著优于先前的 O(n²) 上限。
• 部分 k-center、k-median 和 k-means 的通信复杂度从 O(st) 降低至 O(t)，实现在输入规模上的次线性通信。
• 对于不确定数据，算法在两轮通信下实现 O(1+1/ε)-近似，通信成本为 O(s(kB + tI)logΔ + s/δ + skB)，其中 I 为节点的编码大小。
• 对于 (k,t)-center-g 问题，算法在两轮通信下实现 O(1+1/ε)-近似，通信成本为 O(s(kB + tI)logΔ)，优于先前工作。
• 各计算节点的运行时间为 O((k+t)ni logΔ)，协调者的运行时间为 O((sk+t)²)，在典型参数设置下均低于输入规模的二次方。
• 该框架同时支持异常点容忍与不确定数据建模，适用于分布式系统中真实世界中的噪声数据与概率数据。