[论文解读] Dimensionality Reduction for k-Means Clustering and Low Rank Approximation

Michael B. Cohen, Sam Elder+3 more|arXiv (Cornell University)|Oct 24, 2014

Sparse and Compressive Sensing Techniques参考文献 41被引用 14

一句话总结

本文提出了投影代价保持压缩（projection-cost preserving sketches），实现了 k-均值聚类和低秩逼近的维度约减，相对误差为 (1+ε)。通过随机投影、SVD 或列采样将数据压缩至 O(k) 维，可在保持近似质量的同时加速任意 k-均值或低秩算法的计算，在 O(log k / ε²) 维下实现 (9+ε) 的 k-均值近似，这是首个与输入规模无关且在 k 上为次线性的结果。

ABSTRACT

We show how to approximate a data matrix $\mathbf{A}$ with a much smaller sketch $\mathbf{ ilde A}$ that can be used to solve a general class of constrained k-rank approximation problems to within $(1+ε)$ error. Importantly, this class of problems includes $k$-means clustering and unconstrained low rank approximation (i.e. principal component analysis). By reducing data points to just $O(k)$ dimensions, our methods generically accelerate any exact, approximate, or heuristic algorithm for these ubiquitous problems. For $k$-means dimensionality reduction, we provide $(1+ε)$ relative error results for many common sketching techniques, including random row projection, column selection, and approximate SVD. For approximate principal component analysis, we give a simple alternative to known algorithms that has applications in the streaming setting. Additionally, we extend recent work on column-based matrix reconstruction, giving column subsets that not only `cover' a good subspace for $\bv{A}$, but can be used directly to compute this subspace. Finally, for $k$-means clustering, we show how to achieve a $(9+ε)$ approximation by Johnson-Lindenstrauss projecting data points to just $O(\log k/ε^2)$ dimensions. This gives the first result that leverages the specific structure of $k$-means to achieve dimension independent of input size and sublinear in $k$.

研究动机与目标

• 开发保持矩阵 k-秩逼近代价的维度约减技术，以加速 k-均值聚类和低秩逼近的计算。
• 提供一个通用框架——投影代价保持压缩，确保在压缩数据上进行的任意 k 维子空间近似，与在原始矩阵上的近似几乎等价。
• 仅使用 O(k) 维，实现 k-均值和低秩问题的 (1+ε) 相对误差，与先前工作相比显著降低维度。
• 通过维度约减最小化通信和存储，使分布式和流式算法更加高效。

提出的方法

• 引入投影代价保持压缩的概念，即在任意 k 维子空间上的投影代价被乘法性地保持，误差在 (1+ε) 以内。
• 利用随机投影、列采样和近似 SVD 高效构造此类压缩，具有可证明的保证。
• 应用 Johnson-Lindenstrauss 类型的投影，将数据压缩至 O(log k / ε²) 维，同时保持 k-均值聚类的 (9+ε) 近似。
• 利用现有的随机化 SVD 和采样算法，表明在框架内可使用近似 SVD 和非精确采样概率。
• 设计一种分布式算法，通过先将维度压缩至 Õ(k/ε²)，再通过非盲投影压缩至 O(k/ε)，仅通信 Õ(s log d log k) 比特。
• 通过选择不仅能张成良好子空间，还能直接用于计算低秩逼近的列子集，扩展了基于列的矩阵重构。

实验结果

研究问题

• RQ1 是否可利用维度约减在将数据压缩至 O(k) 维的同时，实现 k-均值聚类的 (1+ε) 相对误差？
• RQ2 是否可构造仅含 O(k) 列的投影代价保持压缩，即使原始矩阵的秩很高，也能保持 k-秩逼近的代价？
• RQ3 Johnson-Lindenstrauss 投影是否可在 O(log k / ε²) 维下实现 k-均值聚类的 (9+ε) 近似，且与输入规模无关、在 k 上为次线性？
• RQ4 列采样技术是否可用于将粗略的近似 SVD 精炼为相对误差的低秩逼近？
• RQ5 所提出的压缩框架是否可应用于通信量最小的分布式和流式计算场景？

主要发现

• 本文通过 Johnson-Lindenstrauss 投影将数据压缩至 O(log k / ε²) 维，实现了 k-均值聚类的 (9+ε) 近似，这是首个与输入规模无关且在 k 上为次线性的结果。
• 通过随机投影、列采样或近似 SVD，使用大小为 O(k/ε) 的压缩，实现了 k-均值和低秩逼近的 (1+ε) 相对误差。
• 所提出的投影代价保持压缩确保了在压缩数据上进行的任意 k 维子空间近似代价，与原始矩阵的代价在 (1+ε) 以内。
• 设计了一种分布式 k-均值算法，通过先将维度压缩至 Õ(k/ε²)，再压缩至 O(k/ε)，仅通信 Õ(s log d log k) 比特。
• 该框架通过允许独立处理数据分区并最小化压缩矩阵的通信，实现了高效的流式和分布式计算。
• 本文通过证明所选列既能张成良好子空间，又能直接用于计算低秩逼近，扩展了基于列的矩阵重构。