[论文解读] Efficient Active Algorithms for Hierarchical Clustering

Akshay Krishnamurthy, Sivaraman Balakrishnan+2 more|arXiv (Cornell University)|Jun 18, 2012

Advanced Clustering Algorithms Research参考文献 13被引用 27

一句话总结

本文提出了一种用于层次聚类的通用主动学习框架，通过迭代地对数据的小型随机采样子集进行聚类，显著减少了所需的相似度测量次数。该方法提供了理论保证，在使用 O(n log²n) 次相似度测量的情况下，可恢复大小为 Ω(log n) 的聚类，并在 O(n log³n) 时间内运行。实验验证表明，该方法在真实数据集上实现了显著的速度提升和优异的聚类性能。

ABSTRACT

Advances in sensing technologies and the growth of the internet have resulted in an explosion in the size of modern datasets, while storage and processing power continue to lag behind. This motivates the need for algorithms that are efficient, both in terms of the number of measurements needed and running time. To combat the challenges associated with large datasets, we propose a general framework for active hierarchical clustering that repeatedly runs an off-the-shelf clustering algorithm on small subsets of the data and comes with guarantees on performance, measurement complexity and runtime complexity. We instantiate this framework with a simple spectral clustering algorithm and provide concrete results on its performance, showing that, under some assumptions, this algorithm recovers all clusters of size ?(log n) using O(n log^2 n) similarities and runs in O(n log^3 n) time for a dataset of n objects. Through extensive experimentation we also demonstrate that this framework is practically alluring.

研究动机与目标

• 为减轻大规模层次聚类的计算和测量负担，通过最小化成对相似度计算次数来实现。
• 开发一种通用框架，可应用于现成的聚类算法，实现主动且测量高效的聚类。
• 为主动层次聚类提供关于聚类恢复、测量复杂度和运行时间的理论保证。
• 通过在真实世界和合成数据集上进行广泛实验，证明方法的实际效率和准确性。

提出的方法

• 该框架采用递归的主动聚类策略：在每一层，从当前数据集中随机采样大小为 s 的子集，并对这一子集应用基础聚类算法（例如谱聚类）。
• 该算法利用先前研究（Balakrishnan 等，2011）的统计保证，在温和假设下确保小样本子集的聚类结果能反映全量数据集的结构。
• 它采用分层方法，通过在当前聚类集合上进行新一轮主动采样和聚类，逐层迭代地优化聚类结果。
• 该方法通过仅在相似度矩阵的小型子矩阵上计算特征向量来实例化谱聚类，避免完整的谱分解。
• 该框架允许调节采样大小 s，以在测量开销、计算成本和统计精度之间取得平衡。
• 它包含一个剪枝步骤，用于移除可能影响性能指标的小聚类，重点关注大小为 Ω(log n) 的聚类。

实验结果

研究问题

• RQ1 能否设计一种通用的主动学习框架用于层次聚类，以减少相似度测量次数，同时保持聚类准确性？
• RQ2 在这样的主动框架中，关于聚类恢复、测量复杂度和运行时间，能够提供哪些理论保证？
• RQ3 主动谱聚类在准确性和效率方面与标准谱聚类和 k-means 聚类相比表现如何？
• RQ4 该框架能否有效应用于具有复杂结构的真实世界数据集，例如生物序列或网络拓扑？

主要发现

• ActiveSpectral 算法以高概率恢复所有大小为 Ω(log n) 的聚类，仅需 O(n log²n) 次相似度测量和 O(n log³n) 的运行时间（对于大小为 n 的数据集）。
• 在 SNP 和系统发育等真实世界数据集上，主动算法（ActiveSpec 和 ActiveKMeans）实现了显著的速度提升——运行时间低于 20 秒，而标准谱聚类超过 130 秒，同时保持了高聚类质量。
• 在 SNP 数据集上，ActiveSpec 和 ActiveKMeans 的异常值比例分别为 0.019 和 0.018，优于非主动基线方法，在与参考层次结构的一致性方面表现更优。
• SNP 和系统发育数据集的排列后相似度矩阵热图清晰显示出块状结构，表明 ActiveSpectral 和 ActiveKMeans 具有强大的聚类性能。
• 该框架在 NIPS 和 RTW 数据集上表现出鲁棒性，尽管在 RTW 数据集上性能有所下降，原因在于存在大量小且采样不足的聚类。
• 结果表明，主动算法可高效恢复高秩矩阵（例如秩为 n/log n），仅使用 O(n log²n) 次相似度测量，为矩阵补全应用提供了潜在前景。