[论文解读] Anytime Hierarchical Clustering

Ömür Arslan, Daniel E. Koditschek|arXiv (Cornell University)|Apr 13, 2014

Advanced Clustering Algorithms Research参考文献 39被引用 3

一句话总结

本文提出了一种任意时间分层聚类算法，通过使用与常见联接函数（如单连接、平均连接、完全连接）兼容的同质性准则，迭代地对初始聚类层次结构进行局部重组，从而逐步改进树形结构。该方法保证在有限时间内收敛至全局同质树——其结果与标准批量单连接聚类一致——并可通过常数时间的局部更新实现可扩展、去中心化和在线聚类，适用于动态数据。

ABSTRACT

We propose a new anytime hierarchical clustering method that iteratively transforms an arbitrary initial hierarchy on the configuration of measurements along a sequence of trees we prove for a fixed data set must terminate in a chain of nested partitions that satisfies a natural homogeneity requirement. Each recursive step re-edits the tree so as to improve a local measure of cluster homogeneity that is compatible with a number of commonly used (e.g., single, average, complete) linkage functions. As an alternative to the standard batch algorithms, we present numerical evidence to suggest that appropriate adaptations of this method can yield decentralized, scalable algorithms suitable for distributed/parallel computation of clustering hierarchies and online tracking of clustering trees applicable to large, dynamically changing databases and anomaly detection.

研究动机与目标

• 为解决批量分层聚类在大规模动态变化数据集中的局限性，实现任意时间、响应式且可扩展的聚类。
• 开发一种局部、迭代的重组机制，通过无需完全重新聚类的方式提升聚类同质性。
• 证明在常见联接函数下，该算法可有限时间收敛至全局同质的层次结构。
• 通过局部化树重构，支持聚类层次结构的去中心化与并行计算。
• 支持在实时应用（如异常检测）中对聚类树进行在线追踪。

提出的方法

• 该方法通过联接函数定义同质性准则，用于评估层次结构中每个节点的聚类质量。
• 在每个递归步骤中应用局部树重构操作——具体为最近邻交换（NNI）——以提升局部同质性。
• 每个NNI操作通过充分统计量（如均值、方差）在常数时间内计算，从而实现可扩展性。
• 该算法以任意时间方式递归应用，生成一系列同质性逐步提升的聚类树。
• 该过程已被证明对包括单连接、完全连接、平均连接、最小最大连接和Ward联接在内的联接函数类别，可在有限时间内收敛。
• 该框架支持增量更新和动态相异度量，实现在线自适应。

实验结果

研究问题

• RQ1 局部、迭代的分层聚类树重组能否实现全局同质性和有限收敛？
• RQ2 与标准批量聚类相比，该任意时间聚类方法在准确性和收敛性方面表现如何？
• RQ3 该方法能否适应大规模或动态数据环境中的去中心化、并行或在线计算？
• RQ4 同质性准则与基于标准联接的聚类结果之间存在何种关系？
• RQ5 该方法能否扩展以支持聚类过程中同步的距离度量学习？

主要发现

• 任意时间聚类方法对包括单连接、完全连接、平均连接、最小最大连接和Ward联接在内的广泛联接函数类别，可在有限时间内收敛至全局同质层次结构。
• 对于单连接联接，该方法无论初始层次结构如何，均收敛至标准批量凝聚聚类所生成的唯一树。
• 实验结果表明，任意时间和增量聚类在平均连接和Ward联接下与批量凝聚聚类表现相当，其相关系数接近真实值。
• 由于对簇间相异度估计过高，完全连接和最小最大连接联接下的性能较低，但在实际应用中仍具有效性。
• 单连接联接的迭代次数呈二次增长，其他联接类型可能呈线性增长，表明通过进一步优化具有良好的可扩展性。
• 由于初始化更优，增量聚类性能优于任意时间聚类，但两者均显著优于随机初始树。