[论文解读] Distributed k-means algorithm

Gabriele Oliva, Roberto Setola+1 more|arXiv (Cornell University)|Dec 15, 2013

Distributed Control Multi-Agent Systems参考文献 28被引用 28

一句话总结

本文提出一种用于无线传感器网络的完全分布式k-means算法，使具有高维观测值的节点能够通过本地单跳通信自主聚类。该方法通过使用有限时间平均一致性算法计算质心并以去中心化方式维持聚类分配，即使聚类在拓扑上不连通，也能确保收敛到与集中式k-means相同的目标函数值。

ABSTRACT

In this paper we provide a fully distributed implementation of the k-means clustering algorithm, intended for wireless sensor networks where each agent is endowed with a possibly high-dimensional observation (e.g., position, humidity, temperature, etc.) The proposed algorithm, by means of one-hop communication, partitions the agents into measure-dependent groups that have small in-group and large out-group "distances". Since the partitions may not have a relation with the topology of the network--members of the same clusters may not be spatially close--the algorithm is provided with a mechanism to compute the clusters'centroids even when the clusters are disconnected in several sub-clusters.The results of the proposed distributed algorithm coincide, in terms of minimization of the objective function, with the centralized k-means algorithm. Some numerical examples illustrate the capabilities of the proposed solution.

研究动机与目标

• 开发一种适用于大规模无线传感器网络且具有高维观测值的节点的完全去中心化k-means聚类算法。
• 确保分布式实现能达到与集中式k-means算法相同的最小化目标函数值。
• 在网络拓扑中聚类不连通的情况下，仍能实现准确的质心计算。
• 与集中式方法相比，将内存复杂度从O((k+n)d)降低至O(kd)，从而可在资源受限设备上部署。
• 支持在移动机器人协同和环境监测等动态、分布式环境中实现实时、可扩展的聚类。

提出的方法

• 该算法采用两阶段迭代过程：基于最近质心的聚类分配，以及通过一致性协议进行质心优化。
• 采用有限时间平均一致性算法，在不连通的子聚类之间计算聚类质心，确保即使缺乏拓扑连通性也能收敛。
• 每个节点维护用于聚类分配（rij）和质心估计（cj）的本地状态变量，通过本地通信和一致性协议进行更新。
• 一致性阶段使用基于最小多项式与可观测性矩阵计算得出的加权平均，以实现有限时间收敛。
• 算法整合了预处理一致性步骤，以计算质心更新所需的中间值，每个节点执行δi步以实现有限时间收敛。
• 目标函数D(T)被迭代最小化，当变化量低于阈值∆max时，保证收敛。

实验结果

研究问题

• RQ1 完全分布式k-means算法是否能在具有高维观测值的节点网络中，实现与集中式版本相同的最小化目标函数值？
• RQ2 当聚类在拓扑上不连通时，如何以分布式方式准确计算聚类质心？
• RQ3 何种一致性机制可使通信受限的节点之间实现质心估计的有限时间收敛？
• RQ4 与集中式k-means相比，该算法在时间和内存复杂度方面表现如何，特别是在资源受限环境中？
• RQ5 在动态网络条件或存在噪声测量的情况下，该算法能否保持正确性与收敛性？

主要发现

• 分布式k-means算法实现的目标函数最小化与集中式版本完全一致，经定理1和仿真结果验证。
• 该算法将内存复杂度从O((k+n)d)降低至O(kd)，使其适用于低资源设备。
• 在仿真中，分布式算法在聚类分配和质心位置方面与集中式k-means完全匹配，目标函数值差异小于1e-6。
• 质心优化阶段占总一致性迭代次数的约85%，表明一致性阶段具有较高的计算效率。
• 该算法能根据观测值相似性成功将节点划分为聚类，即使空间上相距遥远的节点因观测值相似而被分入同一聚类。
• 该方法对网络断连具有鲁棒性，如示例所示，即使在基于观测值相似性的不连通子图之间也能形成聚类。