[论文解读] A simple D^2-sampling based PTAS for k-means and other Clustering Problems

Ragesh Jaiswal, Amit Kumar+1 more|arXiv (Cornell University)|Jan 20, 2012

Sparse and Compressive Sensing Techniques参考文献 19被引用 4

一句话总结

本文提出了一种基于 $D^2$-采样作为核心机制的简单随机化 $(1+\epsilon)$-近似算法，用于解决 $k$-均值问题。通过迭代地使用 $D^2$-采样选取点，并从这些采样点中选择质心，该算法在 $O(nd \cdot 2^{\tilde{O}(k^2/\epsilon)})$ 时间内实现了 $(1+\epsilon)$-近似，为复杂的共锥体（coreset-based）PTAS 方法提供了一种简洁的替代方案。

ABSTRACT

Given a set of points $P \subset \mathbb{R}^d$, the $k$-means clustering problem is to find a set of $k$ {\em centers} $C = \{c_1,...,c_k\}, c_i \in \mathbb{R}^d,$ such that the objective function $\sum_{x \in P} d(x,C)^2$, where $d(x,C)$ denotes the distance between $x$ and the closest center in $C$, is minimized. This is one of the most prominent objective functions that have been studied with respect to clustering. $D^2$-sampling \cite{ArthurV07} is a simple non-uniform sampling technique for choosing points from a set of points. It works as follows: given a set of points $P \subseteq \mathbb{R}^d$, the first point is chosen uniformly at random from $P$. Subsequently, a point from $P$ is chosen as the next sample with probability proportional to the square of the distance of this point to the nearest previously sampled points. $D^2$-sampling has been shown to have nice properties with respect to the $k$-means clustering problem. Arthur and Vassilvitskii \cite{ArthurV07} show that $k$ points chosen as centers from $P$ using $D^2$-sampling gives an $O(\log{k})$ approximation in expectation. Ailon et. al. \cite{AJMonteleoni09} and Aggarwal et. al. \cite{AggarwalDK09} extended results of \cite{ArthurV07} to show that $O(k)$ points chosen as centers using $D^2$-sampling give $O(1)$ approximation to the $k$-means objective function with high probability. In this paper, we further demonstrate the power of $D^2$-sampling by giving a simple randomized $(1 + ε)$-approximation algorithm that uses the $D^2$-sampling in its core.

研究动机与目标

• 开发一种简单、高效的 $(1+\epsilon)$-近似算法，用于解决 $k$-均值聚类问题。
• 证明仅使用 $D^2$-采样而无需复杂的共锥体构造，即可为 $k$-均值及相关的聚类目标设计出 PTAS。
• 将 $D^2$-采样的适用范围扩展到其他距离度量，如马哈拉诺比斯距离和 $\mu$-相似的 Bregman 散度。
• 提供一种时间效率高的算法，其时间复杂度为 $O(nd \cdot 2^{\tilde{O}(k^2/\epsilon)})$，适用于常数 $k$，从而简化了先前的方法。

提出的方法

• 该算法使用 $D^2$-采样，基于已选中心的距离，迭代地从候选点中选取一组小样本。
• 从每个采样集合中，算法选择子集的质心作为下一个中心，以确保多样性和代表性。
• 该过程重复进行，直到选出 $k$ 个中心，以高概率获得 $(1+\epsilon)$-近似解。
• 该方法依赖于 $(f,\gamma,\delta)$-采样性质以及 $D^2$-采样下质心的稳定性，以保证近似保证。
• 理论分析利用对称性、三角不等式以及距离函数的质心性质，对近似误差进行有界。
• 通过验证其与所需性质的兼容性，将该算法扩展至马哈拉诺比斯距离和 $\mu$-相似的 Bregman 散度。

实验结果

研究问题

• RQ1 仅使用 $D^2$-采样，是否可以设计出一种无需依赖共锥体构造的简单 PTAS 来解决 $k$-均值问题？
• RQ2 $D^2$-采样算法在实现 $k$-均值问题的 $(1+\epsilon)$-近似时，其时间复杂度是多少？
• RQ3 $D^2$-采样与质心选择是否可推广至其他距离度量，如马哈拉诺比斯距离和 $\mu$-相似的 Bregman 散度？
• RQ4 在所提出的算法中，近似因子如何依赖于参数 $k$ 和 $\epsilon$？

主要发现

• 所提出的算法仅通过 $D^2$-采样和质心选择，即实现了 $k$-均值目标的 $(1+\epsilon)$-近似。
• 该算法的时间复杂度为 $O(nd \cdot 2^{\tilde{O}(k^2/\epsilon)})$，当 $k$ 为常数时，其在 $n$ 和 $d$ 上呈线性关系。
• 对于马哈拉诺比斯距离，该算法在 $O(nd \cdot 2^{\tilde{O}(k^2/\epsilon)})$ 时间内提供 $(1+\epsilon)$-近似。
• 对于 $\mu$-相似的 Bregman 散度，该算法在 $O(nd \cdot 2^{\tilde{O}(k^2/(\mu\epsilon))})$ 时间内实现 $(1+\epsilon)$-近似。
• 该方法避免了复杂的共锥体构造，为 $k$-均值问题的先前 PTAS 方法提供了一种更简单的替代方案。