[论文解读] Approximation and Streaming Algorithms for Projective Clustering via Random Projections

Michael Kerber, Sharath Raghvendra|arXiv (Cornell University)|Jul 8, 2014

Computational Geometry and Mesh Generation参考文献 33被引用 7

一句话总结

本文提出了一种基于随机投影的投影聚类近似与流算法，通过将 $\mathbb{R}^d$ 中的 $n$ 个点投影到维度为 $O(((q+1)^2 \log((q+1)/\varepsilon)/\varepsilon^3)\log n)$ 的低维子空间，实现了对所有 $k$ 和 $\rho$ 同时的 $\varepsilon$-近似。关键贡献在于提出了一种空间高效的流算法，仅需 $O((n+d)((q+1)^2\log((q+1)/\varepsilon)/\varepsilon^3)\log n)$ 的空间复杂度，当 $n$ 与 $d$ 数量级相当时，显著优于标准的 $\Omega(kd)$ 空间复杂度边界。

ABSTRACT

Let $P$ be a set of $n$ points in $\\mathbb{R}^d$. In the projective clustering problem, given $k, q$ and norm $\ ho \\in [1,\\infty]$, we have to compute a set $\\mathcal{F}$ of $k$ $q$-dimensional flats such that $(\\sum_{p\\in P}d(p, \\mathcal{F})^\ ho)^{1/\ ho}$ is minimized; here $d(p, \\mathcal{F})$ represents the (Euclidean) distance of $p$ to the closest flat in $\\mathcal{F}$. We let $f_k^q(P,\ ho)$ denote the minimal value and interpret $f_k^q(P,\\infty)$ to be $\\max_{r\\in P}d(r, \\mathcal{F})$. When $\ ho=1,2$ and $\\infty$ and $q=0$, the problem corresponds to the $k$-median, $k$-mean and the $k$-center clustering problems respectively. For every $0 < \\epsilon < 1$, $S\\subset P$ and $\ ho \\ge 1$, we show that the orthogonal projection of $P$ onto a randomly chosen flat of dimension $O(((q+1)^2\\log(1/\\epsilon)/\\epsilon^3) \\log n)$ will $\\epsilon$-approximate $f_1^q(S,\ ho)$. This result combines the concepts of geometric coresets and subspace embeddings based on the Johnson-Lindenstrauss Lemma. As a consequence, an orthogonal projection of $P$ to an $O(((q+1)^2 \\log ((q+1)/\\epsilon)/\\epsilon^3) \\log n)$ dimensional randomly chosen subspace $\\epsilon$-approximates projective clusterings for every $k$ and $\ ho$ simultaneously. Note that the dimension of this subspace is independent of the number of clusters~$k$. Using this dimension reduction result, we obtain new approximation and streaming algorithms for projective clustering problems. For example, given a stream of $n$ points, we show how to compute an $\\epsilon$-approximate projective clustering for every $k$ and $\ ho$ simultaneously using only $O((n+d)((q+1)^2\\log ((q+1)/\\epsilon))/\\epsilon^3 \\log n)$ space. Compared to standard streaming algorithms with $\\Omega(kd)$ space requirement, our approach is a significant improvement when the number of input points and their dimensions are of the same order of magnitude.

研究动机与目标

• 设计高维空间中一般投影聚类问题的高效近似与流算法。
• 解决高维数据中 $n$ 与 $d$ 数量级相近时，标准 $\Omega(kd)$ 空间算法不切实际的挑战。
• 实现单一低维嵌入，同时保持所有 $k$ 与 $\rho$ 的 $\varepsilon$-近似投影聚类。
• 利用随机投影与核心集理论降低维度，同时保持近似保证。

提出的方法

• 使用随机投影将 $\mathbb{R}^d$ 中的 $n$ 个点映射到维度为 $O(((q+1)^2 \log((q+1)/\varepsilon)/\varepsilon^3)\log n)$ 的低维子空间，以保持至最近 $q$-平面的 $\varepsilon$-近似距离。
• 应用 Johnson-Lindenstrauss 引理，确保投影空间中成对距离在 $1\pm\varepsilon$ 范围内保持不变。
• 在投影空间中构建大小为 $C_\rho(q,\varepsilon)$ 的核心集，以捕捉任意子集 $S\subset P$ 的最优 $f_1^q(S,\rho)$ 值，从而实现高效近似。
• 利用投影后的数据在低维空间中运行现有流式算法，然后将解回映射到原始空间。
• 证明由于维度降低的稳定性，投影解能同时对所有 $k$ 与 $\rho$ 实现 $\varepsilon$-近似投影聚类。
• 利用嵌入维度与 $k$ 无关的特性，实现在所有聚类数下的统一近似。

实验结果

研究问题

• RQ1 能否通过单一低维随机投影，同时保持所有 $k$ 与 $\rho$ 的 $\varepsilon$-近似投影聚类？
• RQ2 确保对所有 $k$ 与 $\rho$ 的最优投影聚类代价 $f_k^q(P,\rho)$ 实现 $\varepsilon$-近似的最小随机子空间维度是多少？
• RQ3 能否利用随机投影设计出空间复杂度为 $o(kd)$ 的空间高效流式算法用于投影聚类？
• RQ4 在随机投影背景下，核心集大小 $C_\rho(q,\varepsilon)$ 如何随 $q$、$\varepsilon$ 与 $n$ 变化？
• RQ5 该框架能否将最小包围球（MEB）及相关问题的近似推广到更高维平面？

主要发现

• 本文证明，将 $P\subset\mathbb{R}^d$ 投影到一个随机选择的 $O(((q+1)^2\log((q+1)/\varepsilon)/\varepsilon^3)\log n)$-维子空间时，对任意子集 $S\subset P$、$\rho\geq1$ 以及 $0<\varepsilon<1$，均能实现 $f_1^q(S,\rho)$ 的 $\varepsilon$-近似。
• 该维度降低同时保持了所有 $k$ 与 $\rho$ 的 $\varepsilon$-近似投影聚类，且嵌入维度与 $k$ 无关。
• 在流式环境中，可在 $O((n+d)((q+1)^2\log((q+1)/\varepsilon)/\varepsilon^3)\log n)$ 的空间复杂度下计算出对所有 $k$ 与 $\rho$ 的 $\varepsilon$-近似投影聚类。
• 对于 $k$-中心问题（$\rho=\infty$，$q=0$），算法的运行时间为 $O(n\log n \cdot 2^{k\log k/\varepsilon} + \frac{dn\log n}{\varepsilon^3})$，优于以往的指数依赖关系。
• 该方法实现了通过维度降低对 Čech 复形的近似：以高概率满足 $\mathcal{C}_{(1-c\varepsilon)\alpha}(P) \subseteq \mathcal{C}_\alpha(\hat{\pi}(P)) \subseteq \mathcal{C}_{(1+c\varepsilon)\alpha}(P)$，其中 $m=\Theta(\log n / \varepsilon^3)$。
• 该结果意味着在维度高于 $m$ 的持久同调特征不可能显著，为低维投影中的拓扑复杂度提供了理论上限。