[论文解读] Coresets for Clustering in Euclidean Spaces: Importance Sampling is Nearly Optimal

Lingxiao Huang, Nisheeth K. Vishnoi|arXiv (Cornell University)|Apr 14, 2020

Sparse and Compressive Sensing Techniques参考文献 33被引用 5

一句话总结

该论文提出了一种统一的两阶段重要性采样框架，用于在欧几里得空间中构建 $(k,z)$-聚类的 $\varepsilon$-共核（coresets），在共核大小和构造效率方面均实现改进。该方法在 $k$-中位数（$k$-Median）情况下实现了 $\tilde{O}(\varepsilon^{-4}k)$ 的共核大小，相比先前工作节省了 $k$-因子，并避免了对 $k/\varepsilon$ 的指数依赖；同时建立了几乎匹配的下界 $\Omega(k \cdot \min\{2^{z/20}, d\})$。该框架利用了一种新颖的维数约简技术，将子空间逼近与聚类联系起来，从而实现了对一般 $z \geq 1$ 的近乎最优共核构造。其主要贡献在于构造出既大小最优又高效的共核，对 $k$-中位数和 $k$-均值（$k$-Means）问题均表现出对 $k$ 的线性依赖，且不依赖于 $d$。

ABSTRACT

Given a collection of $n$ points in $\mathbb{R}^d$, the goal of the $(k,z)$-clustering problem is to find a subset of $k$ "centers" that minimizes the sum of the $z$-th powers of the Euclidean distance of each point to the closest center. Special cases of the $(k,z)$-clustering problem include the $k$-median and $k$-means problems. Our main result is a unified two-stage importance sampling framework that constructs an $\varepsilon$-coreset for the $(k,z)$-clustering problem. Compared to the results for $(k,z)$-clustering in [Feldman and Langberg, STOC 2011], our framework saves a $\varepsilon^2 d$ factor in the coreset size. Compared to the results for $(k,z)$-clustering in [Sohler and Woodruff, FOCS 2018], our framework saves a $\operatorname{poly}(k)$ factor in the coreset size and avoids the $\exp(k/\varepsilon)$ term in the construction time. Specifically, our coreset for $k$-median ($z=1$) has size $ ilde{O}(\varepsilon^{-4} k)$ which, when compared to the result in [Sohler and Woodruff, STOC 2018], saves a $k$ factor in the coreset size. Our algorithmic results rely on a new dimensionality reduction technique that connects two well-known shape fitting problems: subspace approximation and clustering, and may be of independent interest. We also provide a size lower bound of $Ω\left(k\cdot \min \left\{2^{z/20},d ight\} ight)$ for a $0.01$-coreset for $(k,z)$-clustering, which has a linear dependence of size on $k$ and an exponential dependence on $z$ that matches our algorithmic results.

研究动机与目标

• 开发一种统一且高效的框架，用于在 $\mathbb{R}^d$ 中构造 $(k,z)$-聚类的 $\varepsilon$-共核，实现对 $k$ 的线性依赖且不依赖于 $d$。
• 改进先前的共核构造，相比 [18] 减少 $\varepsilon^2 d$ 因子，相比 [33] 减少 $\operatorname{poly}(k)$ 因子，同时避免 $\exp(k/\varepsilon)$ 的构造时间。
• 建立共核大小的近乎匹配下界，表明对 $k$ 和 $z$ 的依赖是紧致的。
• 提出一种新颖的维数约简技术，将子空间逼近与聚类联系起来，该技术可能具有独立的研究价值。

提出的方法

• 提出一种两阶段重要性采样框架：首先根据点对聚类代价的贡献进行采样；其次利用终端嵌入（terminal embedding）对样本进行精炼，以保持到任意 $k$-中心集合的距离。
• 引入一种新的几何技术，通过终端嵌入将子空间逼近与聚类联系起来，实现在不损失共核保真度的前提下实现维数约简。
• 采用类似 Johnson–Lindenstrauss 的变换，将点投影到低维空间，同时保持任意中心集合的 $k$-中位数代价在 $1\pm\varepsilon$ 范围内。
• 使用 Feldman-Langberg 的重要性采样框架，为 $k$-中位数构造大小为 $\tilde{O}(\varepsilon^{-4}k)$ 的共核，优于先前的 $\tilde{O}(\varepsilon^{-4}k^2)$ 边界。
• 通过证明 $\Omega(k \cdot \min\{2^{z/20}, d\})$ 的下界，表明共核大小近乎最优，适用于 $0.01$-共核。
• 通过改进的三角不等式论证分析共核在扰动下的稳定性，表明距离的微小变化会导致代价的微小变化。

实验结果

研究问题

• RQ1 能否设计一种统一框架，用于构造对 $k$ 线性依赖且不依赖于 $d$ 的 $(k,z)$-聚类 $\varepsilon$-共核？
• RQ2 能否通过消除 [18] 中的 $\varepsilon^2 d$ 因子以及 [33] 中的 $\operatorname{poly}(k)$ 和 $\exp(k/\varepsilon)$ 因子，进一步改进共核大小？
• RQ3 $k$-中位数的 $\tilde{O}(\varepsilon^{-4}k)$ 共核大小是否在对数因子范围内最优？
• RQ4 能否开发一种新的维数约简技术，在降低维数的同时保持对所有 $k$-中心集合的聚类代价？
• RQ5 $(k,z)$-聚类的 $\varepsilon$-共核大小的理论下界是什么？该下界是否与算法构造相匹配？

主要发现

• 所提出的两阶段重要性采样框架为 $(k,z)$-聚类构造出大小为 $\tilde{O}(\min\{\varepsilon^{-2z-2}k, 2^{2z}\varepsilon^{-4}k^2\})$ 的 $\varepsilon$-共核，优于先前工作。
• 对于 $k$-中位数（$z=1$），共核大小为 $\tilde{O}(\varepsilon^{-4}k)$，相比 [33] 中的 $\tilde{O}(\varepsilon^{-4}k^2)$ 边界节省了 $k$-因子。
• 该框架避免了 [33] 中存在的 $\exp(k/\varepsilon)$ 构造时间，使其在 $k$ 较大时更具效率。
• 论文建立了 $0.01$-共核的下界 $\Omega(k \cdot \min\{2^{z/20}, d\})$，表明对 $\varepsilon$ 的 $\varepsilon^{-4}$ 依赖和对 $z$ 的指数依赖近乎紧致。
• 所提出的连接子空间逼近与聚类的新维数约简技术被证明有效，可能在其他几何问题中具有独立研究价值。
• 该框架证明，仅靠 Johnson–Lindenstrauss 投影无法直接保持共核性质，除非存在一个精心设计的映射 $\phi$；但通过概率论证，这样的 $\phi$ 确实存在。