[论文解读] Active Clustering: Robust and Efficient Hierarchical Clustering using Adaptively Selected Similarities

Brian Eriksson, Gautam Dasarathy+2 more|arXiv (Cornell University)|Feb 18, 2011

Advanced Clustering Algorithms Research参考文献 23被引用 37

一句话总结

本文提出一种主动聚类方法，通过自适应选择成对相似度，在仅使用 O(N log²N) 次相似度计算的前提下，实现鲁棒且高效的层次聚类，显著少于传统方法所需的 O(N²) 次计算。通过利用紧密聚类条件与自适应相似度选择，该方法即使在存在噪声或异常相似度值的情况下，也能以高概率确保正确聚类。

ABSTRACT

Hierarchical clustering based on pairwise similarities is a common tool used in a broad range of scientific applications. However, in many problems it may be expensive to obtain or compute similarities between the items to be clustered. This paper investigates the hierarchical clustering of N items based on a small subset of pairwise similarities, significantly less than the complete set of N(N-1)/2 similarities. First, we show that if the intracluster similarities exceed intercluster similarities, then it is possible to correctly determine the hierarchical clustering from as few as 3N log N similarities. We demonstrate this order of magnitude savings in the number of pairwise similarities necessitates sequentially selecting which similarities to obtain in an adaptive fashion, rather than picking them at random. We then propose an active clustering method that is robust to a limited fraction of anomalous similarities, and show how even in the presence of these noisy similarity values we can resolve the hierarchical clustering using only O(N log^2 N) pairwise similarities.

研究动机与目标

• 开发一种层次聚类方法，其所需的成对相似度远少于完整的 N(N−1)/2 个。
• 确保对部分异常或不可靠相似度值的鲁棒性。
• 通过自适应而非随机的相似度选择，提供聚类准确性的理论保证。
• 降低在相似度密集型应用（如网络拓扑推断或基因表达分析）中的计算与资源开销。

提出的方法

• 提出一种主动聚类框架，根据层次结构和一致性检验自适应选择成对相似度。
• 采用两阶段投票机制：首先识别一致的相似度，然后通过一致投票确定子聚类成员身份。
• 通过异常值计数和一致比例的阈值设定，以高概率确定聚类成员身份。
• 应用霍夫丁不等式来界定误差概率，并推导可靠聚类所需的样本复杂度要求。
• 引入递归分割过程，基于自适应相似度查询对聚类进行划分，确保递归深度受限。
• 使用平衡因子 η 来限制树的深度，并在紧密聚类条件下推导出总相似度复杂度为 O(N log²N)。

实验结果

研究问题

• RQ1 是否可以仅使用远少于 O(N²) 次成对相似度，准确恢复层次聚类？
• RQ2 在紧密聚类条件下，是否可能仅通过 O(N log²N) 次自适应相似度查询实现可靠聚类？
• RQ3 当部分相似度值被破坏或不一致时，该方法如何保持鲁棒性？
• RQ4 在相似度输入存在噪声的情况下，聚类成功概率的理论保证是什么？
• RQ5 该方法能否扩展以处理任意聚类形状和非均匀相似度分布？

主要发现

• 在紧密聚类条件下，该方法仅使用 3N log N 次成对相似度即可实现正确的层次聚类。
• 在 O(N log²N) 次主动选择的相似度下，即使部分相似度存在噪声或异常，该方法仍能以高概率恢复真实聚类。
• 理论边界表明，每个节点 m = O(log N) 次一致项已足够实现可靠的子聚类分辨。
• 该算法对相似度值的单调变换具有鲁棒性，适用于主观或校准后的相似度数据。
• 所需相似度总数被限制在 O(N log²N) 以内，考虑到相似度查询的 Ω(N) 下界，该复杂度接近最优。
• 该方法在合成数据集和真实世界数据集上均保持高准确率，展现出良好的可扩展性与鲁棒性。