[论文解读] Clustering with Same-Cluster Queries

Hassan Ashtiani, Shrinu Kushagra+1 more|arXiv (Cornell University)|Jun 8, 2016

Machine Learning and Algorithms被引用 44

一句话总结

本文提出了一种半监督主动聚类（SSAC）框架，利用同簇查询在满足边界条件的前提下高效求解NP难聚类问题。该框架提出了一种BPP算法，仅需O(k² log k + k log n)次查询和O(kn log n)时间复杂度，当专家遵循具有边距的k均值解时，可实现高效聚类。

ABSTRACT

We propose a framework for Semi-Supervised Active Clustering framework (SSAC), where the learner is allowed to interact with a domain expert, asking whether two given instances belong to the same cluster or not. We study the query and computational complexity of clustering in this framework. We consider a setting where the expert conforms to a center-based clustering with a notion of margin. We show that there is a trade off between computational complexity and query complexity; We prove that for the case of $k$-means clustering (i.e., when the expert conforms to a solution of $k$-means), having access to relatively few such queries allows efficient solutions to otherwise NP hard problems. In particular, we provide a probabilistic polynomial-time (BPP) algorithm for clustering in this setting that asks $O\big(k^2\log k + k\log n)$ same-cluster queries and runs with time complexity $O\big(kn\log n)$ (where $k$ is the number of clusters and $n$ is the number of instances). The success of the algorithm is guaranteed for data satisfying the margin condition under which, without queries, we show that the problem is NP hard. We also prove a lower bound on the number of queries needed to have a computationally efficient clustering algorithm in this setting.

研究动机与目标

• 为解决标准设定下如k均值等聚类问题的计算不可行性，这些问题是NP难的。
• 通过引入具有同簇查询的主动学习框架，降低聚类问题的查询与计算复杂度。
• 建立在何种条件下，少量查询可使原本不可行的聚类问题变得高效可解。
• 形式化一种边界条件，使专家的响应与基于中心的聚类一致，从而为算法提供保证。
• 证明查询复杂度的下界，以确立此主动聚类框架下效率的理论极限。

提出的方法

• 该框架允许学习者通过交互式查询领域专家，判断两个实例是否属于同一簇。
• 假设专家遵循具有边距的基于中心的聚类，以确保响应的一致性与结构。
• 设计了一种概率性多项式时间（BPP）算法，使用O(k² log k + k log n)次同簇查询对n个实例进行聚类。
• 该算法的时间复杂度为O(kn log n)，与标准k均值求解器相比显著降低了计算成本。
• 该方法利用边界条件，确保查询响应具有信息量，并以高概率导向正确聚类。
• 理论分析结合了概率方法与边界条件的几何特性，以界定查询与时间复杂度的上界。

实验结果

研究问题

• RQ1 少量同簇查询能否使NP难聚类问题变得高效可解？
• RQ2 在边界条件下，主动聚类中的查询复杂度与计算复杂度之间存在何种权衡？
• RQ3 在此框架中，为实现计算高效的聚类算法，需要多少同簇查询？
• RQ4 在何种条件下，专家的标注行为（通过同簇查询）可使多项式时间聚类解成为可能？
• RQ5 能否为该主动学习设定下的高效聚类建立查询复杂度的下界？

主要发现

• 所提出的BPP算法在O(kn log n)时间内，仅使用O(k² log k + k log n)次同簇查询，即可求解k均值聚类问题。
• 该算法的成功在边界条件保证下成立，该条件确保专家响应与有效的k均值解一致。
• 若无边界条件，问题仍为NP难，表明为实现效率，结构性假设是必要的。
• 已证明查询数量的下界，表明在给定模型下，次线性查询数量不足以实现高效聚类。
• 该框架明确了明确的权衡关系：若不满足边界条件，则更少的查询需要更高的计算开销。
• 结果表明，即使少量精心选择的查询，也能显著降低原本不可行聚类问题的复杂度。