[论文解读] Distributed Silhouette Algorithm: Evaluating Clustering on Big Data

Marco Gaido|arXiv (Cornell University)|Mar 24, 2023

Advanced Clustering Algorithms Research被引用 4

一句话总结

本文提出了一种用于大规模数据环境中计算轮廓系数（Silhouette metric）的首个线性复杂度分布式算法，实现了聚类质量的高效并行评估。通过预计算平方欧几里得距离和余弦距离的聚类级统计量，该方法将计算复杂度从 O(N²) 降低至 O(N)，使其在 Apache Spark 中适用于大规模数据集。

ABSTRACT

In the big data era, the key feature that each algorithm needs to have is the possibility of efficiently running in parallel in a distributed environment. The popular Silhouette metric to evaluate the quality of a clustering, unfortunately, does not have this property and has a quadratic computational complexity with respect to the size of the input dataset. For this reason, its execution has been hindered in big data scenarios, where clustering had to be evaluated otherwise. To fill this gap, in this paper we introduce the first algorithm that computes the Silhouette metric with linear complexity and can easily execute in parallel in a distributed environment. Its implementation is freely available in the Apache Spark ML library.

研究动机与目标

• 解决在大规模数据环境中轮廓系数因标准 O(N²) 复杂度导致的可扩展性瓶颈，从而限制其实际应用。
• 克服现有实现方法在处理大规模数据集时需进行完整成对距离计算所导致的低效问题。
• 设计一种分布式算法，实现在聚类节点间并行执行的同时，实现线性时间复杂度的轮廓系数计算。
• 在 Apache Spark ML 库中实现并贡献该算法，以支持大规模数据工作负载中的生产级使用。
• 通过优化预计算的统计量，确保与常见距离度量（特别是平方欧几里得距离和余弦距离）的兼容性。

提出的方法

• 为每个数据点和聚类中心预计算归一化特征向量，以支持高效的距离聚合。
• 定义聚类级别的汇总向量（例如 ΩΓₖ），用于存储聚类中所有点的归一化特征之和。
• 利用这些预计算的向量，以 O(D) 时间每点计算平均类间距离，避免成对比较。
• 仅使用预聚合统计量应用轮廓公式 sᵢ = (bᵢ − aᵢ)/max{aᵢ, bᵢ}，将复杂度从 O(N²D) 降低至 O(ND)。
• 利用 Apache Spark 的分布式计算模型，将计算并行化到多个工作节点，每个工作节点处理数据点的一个子集。
• 由于数学约束，仅支持特定距离度量（平方欧几里得距离和余弦距离）——尤其是标准欧几里得距离中平方根的非线性特性，导致无法聚合。

实验结果

研究问题

• RQ1 在分布式大规模数据环境中，轮廓系数能否实现线性时间复杂度的计算？
• RQ2 如何预计算聚类级统计量，以避免 O(N²) 的成对距离计算？
• RQ3 哪些距离度量允许对统计量进行高效聚合，从而实现线性时间轮廓系数计算？
• RQ4 在真实的大规模数据工作负载中，与标准的 O(N²) 实现相比，可获得多大的性能提升？
• RQ5 将此类优化算法集成到广泛使用的大数据框架（如 Apache Spark）中是否可行？

主要发现

• 所提出的算法将轮廓系数计算的复杂度从 O(N²D) 降低至 O(ND)，实现了与数据集规模的线性可扩展性。
• 在单台机器上，该方法在 150,000 个点的数据集上最大运行时间仅为 23 秒，而标准实现超过 100,000 个点后即变得不可行。
• 在 100,000 个数据点时，标准方法与所提方法之间的性能差距达到三个数量级，如对数运行时间图所示。
• 该算法已原生集成至 Apache Spark ML 库中，采用 Apache 2.0 许可证，支持在分布式环境中生产使用。
• 由于数学约束（特别是标准欧几里得距离中平方根的非线性），该方法目前仅限于平方欧几里得距离和余弦距离。
• 聚类数量显著影响计算成本，因为算法的复杂度随聚类数 K 增加而增长。