[论文解读] An Online Hierarchical Algorithm for Extreme Clustering

Ari Kobren, Nicholas Monath+2 more|arXiv (Cornell University)|Apr 6, 2017

Advanced Clustering Algorithms Research参考文献 5被引用 4

一句话总结

Perch 是一种在线层次聚类算法，能够高效扩展至大规模数据集（N）和大规模聚类数量（K），通过树旋转保持聚类纯度与平衡。在可分性假设下，它实现了完美的树状图纯度，并在准确性和速度上优于现有方法，尤其在包含数百万个聚类的极端聚类场景中表现卓越。

ABSTRACT

Many modern clustering methods scale well to a large number of data items, N, but not to a large number of clusters, K. This paper introduces PERCH, a new non-greedy algorithm for online hierarchical clustering that scales to both massive N and K--a problem setting we term extreme clustering. Our algorithm efficiently routes new data points to the leaves of an incrementally-built tree. Motivated by the desire for both accuracy and speed, our approach performs tree rotations for the sake of enhancing subtree purity and encouraging balancedness. We prove that, under a natural separability assumption, our non-greedy algorithm will produce trees with perfect dendrogram purity regardless of online data arrival order. Our experiments demonstrate that PERCH constructs more accurate trees than other tree-building clustering algorithms and scales well with both N and K, achieving a higher quality clustering than the strongest flat clustering competitor in nearly half the time.

研究动机与目标

• 解决现有聚类算法在处理大量聚类数量（K）时存在的可扩展性差距，特别是在在线或流式处理场景中。
• 开发一种在数据集规模（N）和聚类数量（K）均增大时仍能保持高聚类准确性的高效可扩展方法。
• 设计一种基于树的聚类方法，支持增量插入、通过旋转动态纠正错误，并在多分辨率下实现高效搜索与聚类。
• 在自然可分性假设下，提供聚类质量的理论保证，且独立于数据到达顺序。
• 通过引入叶节点压缩模式，使算法能够在内存受限环境中部署，支持大规模或外存聚类。

提出的方法

• 通过将新数据点路由至叶节点，逐步构建二叉聚类树，从而在时间上保持层次结构。
• 采用递归旋转过程纠正错误路由并提升子树纯度，确保在可分性假设下收敛至正确聚类。
• 引入以平衡性为导向的旋转机制，维持浅层树结构，支持高效的对数时间搜索。
• 使用边界框表示内部节点，实现基于距离的快速路由与更新。
• 应用近似技术加速点插入过程，同时保持聚类质量。
• 支持叶节点压缩模式，适用于内存受限环境，使算法在完整数据集无法装入主内存时仍可运行。

实验结果

研究问题

• RQ1 在线层次聚类算法是否能在 N 和 K 均极大的极端聚类场景下实现高准确率与可扩展性？
• RQ2 非贪婪的、基于旋转的方法是否在树状图纯度和对数据到达顺序的鲁棒性方面优于贪婪的增量聚类方法？
• RQ3 在自然可分性假设下，树旋转能否保证无论数据到达顺序如何，均实现完美的树状图纯度？
• RQ4 与平面聚类及其他基于树的聚类方法相比，该算法在准确率和运行时间方面的表现如何？
• RQ5 该算法在 K 的扩展性方面能达到何种程度，特别是在 K 达到数百万量级的现实场景（如实体消歧或网络社区检测）中？

主要发现

• 由于其递归旋转机制，Perch 在可分性假设下，无论数据到达顺序如何，均能实现完美的树状图纯度。
• 该算法在树状图纯度方面优于所有其他树构建型聚类算法，且在 K 增大时仍保持高效率。
• Perch 在几乎一半的时间内构建出优于最强平面聚类竞争者的聚类结果，展现出更优的速度-准确率权衡。
• 实证结果表明，Perch 在聚类数量 K 的扩展性方面表现最佳，在真实数据集上的准确率和运行时间均优于现有方法。
• 叶节点压缩模式使算法在内存受限环境中仍能实现有效聚类，显著扩展了其在外部存储场景下的适用性。
• Perch 在聚类质量与可扩展性方面显著优于最先进的在线层次聚类方法（如 BIRCH 和小批量凝聚聚类）。