[论文解读] Modern hierarchical, agglomerative clustering algorithms

Daniel Müllner|arXiv (Cornell University)|Sep 12, 2011

Advanced Clustering Algorithms Research被引用 369

一句话总结

本文提出一种新型通用凝聚聚类算法，可高效处理任意距离更新方案，在质心和中位数链接方法上显著优于现有方法。该文证明了Rohlf与Murtagh算法的正确性，为每种链接方案确立了最优算法推荐，并提供了R与Python的实现，弥合了标准聚类软件中理论与实践的鸿沟。

ABSTRACT

This paper presents algorithms for hierarchical, agglomerative clustering which perform most efficiently in the general-purpose setup that is given in modern standard software. Requirements are: (1) the input data is given by pairwise dissimilarities between data points, but extensions to vector data are also discussed (2) the output is a "stepwise dendrogram", a data structure which is shared by all implementations in current standard software. We present algorithms (old and new) which perform clustering in this setting efficiently, both in an asymptotic worst-case analysis and from a practical point of view. The main contributions of this paper are: (1) We present a new algorithm which is suitable for any distance update scheme and performs significantly better than the existing algorithms. (2) We prove the correctness of two algorithms by Rohlf and Murtagh, which is necessary in each case for different reasons. (3) We give well-founded recommendations for the best current algorithms for the various agglomerative clustering schemes.

研究动机与目标

• 弥合层次聚类理论进展与标准软件中次优实现之间的差距。
• 为现代统计软件中常用的通用输入/输出格式，开发高效、正确且实用的凝聚聚类算法。
• 为此前未经证明的算法提供形式化正确性证明，包括Rohlf基于最小生成树的单链接算法和Murtagh的最近邻链算法。
• 基于理论与实证分析，为七种主要凝聚聚类方案中的每一种推荐最佳性能算法。
• 通过为基于欧氏距离的方案（如Ward、质心和中位数链接）提出高效适配方法，将研究范围扩展至向量数据。

提出的方法

• 提出一种新型通用聚类算法（Generic_linkage及其变体），通过优先队列和原地数组更新动态维护最近邻候选者，并更新簇间距离。
• 将最小生成树（MST）算法适配用于单链接聚类，支持实时距离计算，降低内存开销。
• 将Murtagh的最近邻链算法应用于完全链接、平均链接、加权链接和Ward链接方案，采用基于质心的距离更新方式。
• 使用分步树状图作为输出数据结构，确保与R和SciPy等标准软件的兼容性。
• 使用C++实现算法，并提供R与Python接口，支持实际部署。
• 采用动态数据结构，其中每个簇以标签表示，最近邻通过优先队列（mindist）追踪，避免冗余距离计算。

实验结果

研究问题

• RQ1 在通用用途输入/输出格式下，哪种凝聚聚类算法在所有标准链接方案中表现最优？
• RQ2 现有软件实现为何次优？理论改进如何有效衔接至实际应用？
• RQ3 Rohlf基于MST的算法与Murtagh最近邻链算法的正确性条件是什么？为何其证明此前缺失？
• RQ4 输出数据结构的选择（如分步树状图）如何影响算法正确性与效率？
• RQ5 能否设计一种单一通用算法，支持任意距离更新公式，同时保持高性能？

主要发现

• 所提出的Generic_linkage算法在质心和中位数链接方案中优于现有方法，其简化变体（Generic_linkage_variant）在实践中显著减少了重新计算次数。
• 首次形式化证明了Rohlf基于MST的单链接算法与Murtagh最近邻链算法在完全/平均/加权/Ward链接中的正确性。
• MST算法支持实时距离计算，无需预先计算完整相异度矩阵，从而降低内存使用。
• 对于欧氏向量数据，Generic_linkage算法及其变体在Ward、质心和中位数链接中为最优，性能提升源于高效的最近邻追踪。
• 证明了分步树状图是确保算法正确性与与标准软件兼容性的必要且充分输出结构。
• 本文确立了在一般相异度输入设置下，任何算法的时间复杂度下限均为Ω(N²)，确认了理论下界。