[论文解读] Communication-Optimal Distributed Clustering

Jiecao Chen, He Sun+2 more|arXiv (Cornell University)|Feb 1, 2017

Advanced Clustering Algorithms Research被引用 20

一句话总结

本文针对两种模型——点对点（消息传递）和广播（黑板）——提出了通信优化的分布式聚类算法，分别适用于图聚类和几何聚类。通过使用谱稀疏化和分布式特征系统计算，该方法在点对点模型中实现近似最优的通信复杂度 Õ(ns)，在广播模型中实现 Õ(n+s)，展现出极低的聚类质量损失，兼具显著的实际效率与理论最优性。

ABSTRACT

Clustering large datasets is a fundamental problem with a number of applications in machine learning. Data is often collected on different sites and clustering needs to be performed in a distributed manner with low communication. We would like the quality of the clustering in the distributed setting to match that in the centralized setting for which all the data resides on a single site. In this work, we study both graph and geometric clustering problems in two distributed models: (1) a point-to-point model, and (2) a model with a broadcast channel. We give protocols in both models which we show are nearly optimal by proving almost matching communication lower bounds. Our work highlights the surprising power of a broadcast channel for clustering problems; roughly speaking, to spectrally cluster $n$ points or $n$ vertices in a graph distributed across $s$ servers, for a worst-case partitioning the communication complexity in a point-to-point model is $n \cdot s$, while in the broadcast model it is $n + s$. A similar phenomenon holds for the geometric setting as well. We implement our algorithms and demonstrate this phenomenon on real life datasets, showing that our algorithms are also very efficient in practice.

研究动机与目标

• 解决大规模数据集在多个站点分布存储时，通信量最小化的聚类挑战。
• 设计聚类质量与集中式聚类相当但通信开销最小的分布式聚类算法。
• 分析并优化两种不同分布式模型（消息传递与黑板）中的通信复杂度。
• 证明广播信道相比点对点模型可显著降低通信成本，尤其在大规模数据场景下。
• 通过真实世界数据集的实验验证理论边界，表明聚类质量高且通信成本低。

提出的方法

• 使用谱稀疏化对每个站点的本地数据进行压缩，以减少通信开销，同时保留关键的谱特性。
• 在消息传递模型中，每个站点将本地数据的谱稀疏化器发送给协调器，由其合并为全局稀疏化器。
• 在黑板模型中，所有站点联合采样边，并通过固定迭代次数的链式采样过程协作构建全局稀疏化器。
• 基于全局稀疏化拉普拉斯矩阵的最低 k 个特征向量所导出的嵌入点，应用 k-means 聚类。
• 利用黑板模型广播单条消息至所有站点的能力，将总通信量从 O(ns) 降低至 O(n+s)。
• 在黑板模型中采用基于链的采样策略，通过迭代方式逐步优化稀疏化器，确保收敛至高质量近似解。

实验结果

研究问题

• RQ1 我们能否设计出聚类质量与集中式方法相当，同时通信量最小的分布式聚类算法？
• RQ2 广播信道的存在如何影响分布式聚类的通信复杂度，相较于点对点通信？
• RQ3 分布式谱聚类的通信成本理论下限是多少？我们的协议能否近乎达到该下限？
• RQ4 站点数量和采样参数在两种模型中如何影响聚类质量和通信成本？
• RQ5 所提出的算法在真实世界数据集（含数十亿条边）上是否具备实际可扩展性？

主要发现

• 消息传递模型的通信成本为 Õ(ns)，随站点数 s 线性增长；而黑板模型的通信成本为 Õ(n+s)，在 s 较大时实现显著降低。
• 在最坏情况下，黑板模型将通信成本降低了 s 倍，凸显了广播在分布式聚类中的强大潜力。
• 聚类质量（以归一化切割 ncut 衡量）在基线、消息传递和黑板算法之间几乎一致；其中 ncut 值在消息传递模型中随 s 略有下降，而黑板模型保持稳定。
• 实验表明，消息传递和黑板模型的通信成本相比基线降低了 1 到 2 个数量级，且黑板模型的通信成本不受 s 的影响。
• 黑板算法对采样参数变化具有鲁棒性：增加每个站点的采样边数或迭代次数可提升 ncut 值，但仅在超过某一阈值后效果明显。
• 对于消息传递模型，每个站点至少采样 5n 条边才能避免生成无效稀疏化器；当 c ≥ 3 且 s ≥ 1 时，ncut 值可收敛至基线水平。