[论文解读] Dimensionality Reduction of Massive Sparse Datasets Using Coresets

Dan Feldman, Mikhail Volkov+1 more|arXiv (Cornell University)|Mar 5, 2015

Sparse and Compressive Sensing Techniques参考文献 24被引用 34

一句话总结

本文提出了一种用于大规模稀疏数据集维度压缩的确定性核心集构建方法，通过一种新颖的 ℓ₂ 频率近似化归约实现。该方法保证构造出大小为 O(k/ε²) 的 (ε,k)-核心集，且为原始行的加权子集，从而实现对稀疏矩阵（如文本或社交网络矩阵）的高效低秩逼近，并提供 (1±ε) 的误差保证。

ABSTRACT

In this paper we present a practical solution with performance guarantees to the problem of dimensionality reduction for very large scale sparse matrices. We show applications of our approach to computing the low rank approximation (reduced SVD) of such matrices. Our solution uses coresets, which is a subset of $O(k/\eps^2)$ scaled rows from the $n imes d$ input matrix, that approximates the sub of squared distances from its rows to every $k$-dimensional subspace in $\REAL^d$, up to a factor of $1\pm\eps$. An open theoretical problem has been whether we can compute such a coreset that is independent of the input matrix and also a weighted subset of its rows. %An open practical problem has been whether we can compute a non-trivial approximation to the reduced SVD of very large databases such as the Wikipedia document-term matrix in a reasonable time. We answer this question affirmatively. % and demonstrate an algorithm that efficiently computes a low rank approximation of the entire English Wikipedia. Our main technical result is a novel technique for deterministic coreset construction that is based on a reduction to the problem of $\ell_2$ approximation for item frequencies.

研究动机与目标

• 解决在大规模稀疏数据集（如文本或社交网络矩阵）上缺乏实用且可证明准确的维度压缩算法的问题。
• 解决核心集构造的开放性理论问题：即核心集应独立于输入规模 (n,d)，且为原始行的子集，具有非负权重。
• 通过减小数据规模同时保持逼近质量，实现对大规模稀疏矩阵的高效低秩逼近（如 SVD）计算。
• 支持流式处理和分布式（可并行化）计算模型，适用于实时或大规模数据处理。
• 为稀疏高维场景下的核心集提供具有理论保证的确定性算法。

提出的方法

• 将核心集构造问题归约为项目频率的 ℓ₂ 频率近似，从而实现确定性构造。
• 通过输入矩阵 A 的 SVD 分解进行变换：A = UDVᵀ，然后提取并归一化 k 维和 (d−k) 维分量，形成矩阵 X。
• 使用改进的 Frank-Wolfe 风格算法，迭代选择归一化空间中距离最远的点，并通过递归计算中心范数来更新权重。
• 维护一个稀疏权重向量 w ∈ [0,∞)^n，仅包含 O(k/ε²) 个非零条目，确保核心集大小与 n 和 d 无关。
• 通过递归计算关键量 a, b, c，避免每轮迭代中 O(d²) 的运算，将空间复杂度从 O(d²) 降低至每点 O(d)。
• 使用 α = (1−a+b)/(1+c−2a) 更新权重，其中 α 控制当前权重与新点权重之间的凸组合，确保收敛至有效核心集。

实验结果

研究问题

• RQ1 我们能否构造出大小独立于输入维度 (n,d) 的核心集，使其为原始行的子集，并对任意 k 维子空间提供 (1±ε) 的逼近？
• RQ2 是否可能设计一种在稀疏高维数据中用于核心集构造的确定性算法，避免随机采样并保持理论保证？
• RQ3 如何使核心集构造适应流式处理和分布式计算模型，同时不牺牲逼近质量？
• RQ4 能否将核心集大小控制在 O(k/ε²) 以内，同时确保对任意 k 子空间的加权平方距离和近似原始距离和在 (1±ε) 范围内？
• RQ5 稀疏性对核心集大小和内存使用有何影响？核心集能否在原始数据中保持稀疏性？

主要发现

• 本文构造出大小为 O(k/ε²) 的 (ε,k)-核心集，且为原始行的加权子集，解决了核心集理论中长期存在的开放问题。
• 核心集构造为确定性方法，基于向 ℓ₂ 频率近似的归约，可为任意 k 维子空间提供平方距离和的 (1±ε) 可证明逼近。
• 该算法运行 O(k/ε²) 轮迭代，通过递归更新中心范数，每点仅使用 O(d) 空间，避免了完整的矩阵运算。
• 该方法支持流式处理和分布式计算：核心集可在单次遍历中维护，内存使用为 O(|C| log n)，且可在多台机器间以极低开销合并。
• 在合成数据上的实验评估表明，核心集提供了高质量的逼近效果，核心集的低秩逼近结果与原始矩阵的完整 SVD 高度一致。
• 核心集保持了稀疏性：若输入矩阵 A 为稀疏矩阵（最大行稀疏度为 s），则核心集的内存使用为 O(|C|·s) 个字，与 n 和 d 无关。