[论文解读] Approximate Clustering with Same-Cluster Queries

Nir Ailon, Anup Bhattacharya+2 more|arXiv (Cornell University)|Apr 6, 2017

Data Management and Algorithms参考文献 17被引用 6

一句话总结

本文提出了一种多项式时间 $(1+\varepsilon)$-近似算法，用于 $k$-均值问题，仅需 $\mathrm{poly}(k/\varepsilon)$ 次同簇查询，消除了对边界假设的需求。该方法在半监督主动聚类（SSAC）框架内扩展了 $k$-均值++ 初始化算法，实现了常数因子近似，证明了少量自适应同簇查询可绕过已知的 NP-难性障碍。

ABSTRACT

Ashtiani et al. proposed a Semi-Supervised Active Clustering framework (SSAC), where the learner is allowed to make adaptive queries to a domain expert. The queries are of the kind "do two given points belong to the same optimal cluster?" There are many clustering contexts where such same-cluster queries are feasible. Ashtiani et al. exhibited the power of such queries by showing that any instance of the $k$-means clustering problem, with additional margin assumption, can be solved efficiently if one is allowed $O(k^2 \log{k} + k \log{n})$ same-cluster queries. This is interesting since the $k$-means problem, even with the margin assumption, is $\mathsf{NP}$-hard. In this paper, we extend the work of Ashtiani et al. to the approximation setting showing that a few of such same-cluster queries enables one to get a polynomial-time $(1 + \varepsilon)$-approximation algorithm for the $k$-means problem without any margin assumption on the input dataset. Again, this is interesting since the $k$-means problem is $\mathsf{NP}$-hard to approximate within a factor $(1 + c)$ for a fixed constant $0 < c < 1$. The number of same-cluster queries used is $ extrm{poly}(k/\varepsilon)$ which is independent of the size $n$ of the dataset. Our algorithm is based on the $D^2$-sampling technique. We also give a conditional lower bound on the number of same-cluster queries showing that if the Exponential Time Hypothesis (ETH) holds, then any such efficient query algorithm needs to make $Ω\left(\frac{k}{poly \log k} ight)$ same-cluster queries. Our algorithm can be extended for the case when the oracle is faulty. Another result we show with respect to the $k$-means++ seeding algorithm is that a small modification to the $k$-means++ seeding algorithm within the SSAC framework converts it to a constant factor approximation algorithm instead of the well known $O(\log{k})$-approximation algorithm.

研究动机与目标

• 在允许同簇查询的 SSAC 框架下，设计一种高效的 $k$-均值问题近似算法。
• 消除先前算法为实现高效解而依赖的边界假设。
• 证明少量自适应同簇查询可将 $k$-均值++ 算法转化为常数因子近似算法。
• 在指数时间假设（ETH）下，建立所需查询次数的条件性下界。
• 将框架扩展至处理具有有界错误概率的噪声或故障 oracle。

提出的方法

• 该算法以 $D^2$-采样（即 $k$-均值++）作为基础种子选择机制，并通过同簇查询增强以优化聚类分配。
• 一个子程序称为 PartitionSample，利用 $D^2$-采样将采样点划分为聚类，确保每个分区的大小至少为 $\Omega(k/\varepsilon)$。
• IsCovered 子程序通过同簇查询结果的多数投票机制，判断聚类是否已被现有中心覆盖，利用切尔诺夫不等式保证概率正确性。
• 该算法自适应地查询 oracle 以检测未被覆盖的聚类，并迭代改进中心选择，直至所有聚类均被覆盖。
• 对于故障 oracle，方法采用容错多数投票和集中不等式，确保高概率正确性。
• 查询复杂度在不可约数据集上为 $O(k^7/\varepsilon^8)$，在一般情况下为 $O(k^{15}/\varepsilon^8)$，且与 $n$ 无关。

实验结果

研究问题

• RQ1 同簇查询是否能实现无需边界假设的多项式时间 $(1+\varepsilon)$-近似解？
• RQ2 能否在 SSAC 框架内对 $k$-均值++ 算法进行修改，以实现常数因子近似而非 $O(\log k)$ 的近似保证？
• RQ3 在指数时间假设（ETH）下，实现高效近似的最少同簇查询次数是多少？
• RQ4 能否使算法对具有有界错误概率的噪声 oracle 响应保持鲁棒性？
• RQ5 SSAC 框架是否为绕过聚类问题中的 NP-难性提供了一条可行路径？

主要发现

• 本文提出了一种多项式时间 $(1+\varepsilon)$-近似算法，仅需 $\mathrm{poly}(k/\varepsilon)$ 次同簇查询，且与数据集大小 $n$ 无关。
• 通过在 SSAC 框架内改进 $k$-均值++ 算法，该算法实现了常数因子近似，优于标准的 $O(\log k)$-近似保证。
• 条件性下界表明，任何在 ETH 下的高效算法都必须进行 $\Omega(k / \mathrm{poly}(\log k))$ 次同簇查询。
• 利用切尔诺夫不等式对查询结果进行分析，该方法以至少 $1 - \frac{1}{16k}$ 的概率正确检测出被覆盖和未被覆盖的聚类。
• 对于错误概率 $q < 1/2$ 的故障 oracle，该算法通过多数投票和集中不等式维持高精度。
• 总查询复杂度在 $(k,\varepsilon)$-不可约数据集上为 $O(k^7/\varepsilon^8)$，在一般情况下为 $O(k^{15}/\varepsilon^8)$，两者均与 $n$ 无关。