[论文解读] Efficient Clustering with Limited Distance Information

Konstantin Voevodski, Maria-Florina Balcan+3 more|arXiv (Cornell University)|Sep 27, 2010

Algorithms and Data Compression参考文献 16被引用 15

一句话总结

本文提出一种主动聚类算法，仅通过 O(k) 次一对一距离查询即可实现高精度聚类，利用近似稳定性与基于地标点的采样方法。与先前方法相比，显著降低了计算成本，同时保持了相近的准确性，尤其在使用 BLAST 类似查询的生物序列聚类中表现优异。

ABSTRACT

Given a point set S and an unknown metric d on S, we study the problem of efficiently partitioning S into k clusters while querying few distances between the points. In our model we assume that we have access to one versus all queries that given a point s in S return the distances between s and all other points. We show that given a natural assumption about the structure of the instance, we can efficiently find an accurate clustering using only O(k) distance queries. Our algorithm uses an active selection strategy to choose a small set of points that we call landmarks, and considers only the distances between landmarks and other points to produce a clustering. We use our algorithm to cluster proteins by sequence similarity. This setting nicely fits our model because we can use a fast sequence database search program to query a sequence against an entire dataset. We conduct an empirical study that shows that even though we query a small fraction of the distances between the points, we produce clusterings that are close to a desired clustering given by manual classification.

研究动机与目标

• 解决在无法计算所有成对距离的情况下对大规模数据集进行聚类的挑战。
• 减少准确聚类所需的距离查询次数，特别是在一对一查询高效（如蛋白质序列的 BLAST）的场景中。
• 设计一种快速、可扩展的聚类算法，在 (c,ε)-近似稳定性假设下保持强理论保证。
• 在真实生物数据集上展示实际有效性，以远少于全距离矩阵计算的查询次数，达到或超越当前最先进方法的准确性。

提出的方法

• 该算法采用主动选择策略，选取一小部分具有代表性的地标点，以反映数据分布。
• 依赖一对一距离查询——即一次操作中获取单个点到所有其他点的距离——在 BLAST 等序列搜索工具中通常效率较高。
• 该方法假设 k-中位数目标函数满足 (c,ε)-性质，确保任意 c-近似解与最优聚类的误差不超过 ε。
• 仅基于地标点与所有其他点之间的距离进行聚类计算，避免构建完整的距离矩阵。
• 算法时间复杂度为 O((k + log(1/δ))|S| log|S|)，显著快于先前的 O(|S|³) 方法。
• 采用概率分析以确保在最小查询开销下以高概率（1−δ）获得正确结果。

实验结果

研究问题

• RQ1 在自然结构假设下，是否仅通过 O(k) 次一对一距离查询即可实现准确聚类？
• RQ2 如何通过主动地标点选择提升聚类效率，同时保持准确性？
• RQ3 该算法能否在大幅降低查询成本的同时，维持与全信息方法相当的理论性能保证？
• RQ4 该方法在实际生物数据集上使用启发式距离查询时表现如何？

主要发现

• 在仅使用 O(k) 次一对一查询的前提下，该算法实现的聚类精度与金标准人工分类（如 Pfam 和 SCOP）相当。
• 实验结果表明，该方法生成的聚类结果与需要完整距离矩阵且运行更慢的最先进方法相比，准确性相当。
• 该算法的时间复杂度为 O((k + log(1/δ))|S| log|S|)，相较于先前方法的 O(|S|³) 运行时间有显著提升。
• 理论分析证实，在 (c,ε)-近似稳定性假设下，该算法以至少 1−δ 的概率返回误差不超过 ε 的聚类结果。
• 当距离目标聚类为 d 时，聚类的 F-measure 下界为 1−3d/2，建立了误差与评估指标之间的正式关联。