[论文解读] Methods of Hierarchical Clustering

Fionn Murtagh, Pedro Contreras|arXiv (Cornell University)|Apr 30, 2011

Advanced Clustering Algorithms Research参考文献 48被引用 101

一句话总结

本文全面综述了层次聚类方法，重点介绍R语言及其他环境中的高效算法，特别关注基于网格和线性时间的方法。提出了一种新型线性时间层次聚类方法——m-adic聚类，该方法基于Baire距离度量，通过利用数据中的公共前缀结构实现快速、可扩展的聚类，尤其适用于大规模数据集。

ABSTRACT

We survey agglomerative hierarchical clustering algorithms and discuss efficient implementations that are available in R and other software environments. We look at hierarchical self-organizing maps, and mixture models. We review grid-based clustering, focusing on hierarchical density-based approaches. Finally we describe a recently developed very efficient (linear time) hierarchical clustering algorithm, which can also be viewed as a hierarchical grid-based algorithm.

研究动机与目标

• 提供凝聚层次聚类算法的实用且全面的概述，重点在于计算效率和适用性。
• 通过新颖的基于网格和基于密度的方法，解决将层次聚类扩展到大规模数据集的挑战。
• 提出并验证一种基于m-adic（Baire）距离的新型线性时间层次聚类算法，以提升性能。
• 在化学信息学、天文学和文本检索等领域的理论基础与实际应用之间建立桥梁。
• 对比和分析传统层次聚类方法与现代高效替代方法，包括层次自组织映射和基于模型的聚类。

提出的方法

• 利用Lance-Williams公式化，将多种凝聚层次聚类算法统一表达在一个计算上可处理的框架中。
• 采用互惠最近邻和最近邻链算法，通过减少冗余的距离计算来加速聚类。
• 应用Baire距离度量——通过数据点在m-adic（如十进制或二进制）表示中最大公共前缀的长度来定义——以诱导层次结构。
• 实施基于网格的聚类策略，其中数据点根据m-adic展开被划分为单元格，并在密集填充的单元格级别上执行聚类。
• 利用Baire距离的超度量性质，确保层次结构的一致性，并实现高效、自底向上的聚类。
• 通过利用m-adic数系统的层次性质，将m-adic聚类集成到线性时间算法中，实现n个数据点的O(n)复杂度。

实验结果

研究问题

• RQ1 如何在不牺牲聚类质量的前提下，使层次聚类在大规模数据集上具有计算效率？
• RQ2 与传统的欧几里得或Minkowski距离相比，使用Baire距离度量在层次聚类中的理论和实际优势是什么？
• RQ3 基于网格和基于密度的聚类方法在层次聚类中如何提升可扩展性和形状灵活性？
• RQ4 m-adic聚类算法如何在保持层次结构和聚类有效性的同时实现线性时间复杂度？
• RQ5 在文本检索和化学信息学等实际应用中部署层次聚类算法的关键实现考虑因素有哪些？

主要发现

• m-adic聚类算法通过利用m-adic数系统的层次结构，实现了O(n)的线性时间复杂度，从而能够高效聚类大规模数据集。
• 基于最长公共前缀的Baire距离度量诱导出一个超度量空间，天然支持层次聚类，并确保定义良好的聚类层次结构。
• 基于网格和基于密度的方法（如DENCLUE和CUBN）在检测任意形状的聚类以及处理高维数据中的噪声方面表现出鲁棒性。
• 互惠最近邻和最近邻链算法通过避免凝聚聚类中的冗余距离计算，显著降低了计算开销。
• 所提出的m-adic方法已在化学信息学、天文学和文本检索中成功应用，表现出强大的经验性能和可扩展性。
• 层次自组织映射和基于模型的聚类为需要输出中具有拓扑或概率结构的应用提供了有效的替代方案。