[论文解读] A Sparse Johnson--Lindenstrauss Transform

Anirban Dasgupta, Ravi Kumar+1 more|arXiv (Cornell University)|Apr 23, 2010

Sparse and Compressive Sensing TechniquesEngineering参考文献 19被引用 19

一句话总结

本文提出一种基于哈希构造的稀疏 Johnson-Lindenstrauss 变换，每列非零条目数为 O(1/ε)，显著低于经典方法的 O(1/ε²)，从而实现每非零元素 ˜O(1/ε) 的更新时间。该方法利用局部稠化技术的哈希机制，并证明了匹配的下界，为稀疏向量和流式处理工作负载提供了更快的降维性能。

ABSTRACT

Dimension reduction is a key algorithmic tool with many applications including nearest-neighbor search, compressed sensing and linear algebra in the streaming model. In this work we obtain a {\em sparse} version of the fundamental tool in dimension reduction --- the Johnson--Lindenstrauss transform. Using hashing and local densification, we construct a sparse projection matrix with just $ ilde{O}(\frac{1}ε)$ non-zero entries per column. We also show a matching lower bound on the sparsity for a large class of projection matrices. Our bounds are somewhat surprising, given the known lower bounds of $Ω(\frac{1}{ε^2})$ both on the number of rows of any projection matrix and on the sparsity of projection matrices generated by natural constructions. Using this, we achieve an $ ilde{O}(\frac{1}ε)$ update time per non-zero element for a $(1\pmε)$-approximate projection, thereby substantially outperforming the $ ilde{O}(\frac{1}{ε^2})$ update time required by prior approaches. A variant of our method offers the same guarantees for sparse vectors, yet its $ ilde{O}(d)$ worst case running time matches the best approach of Ailon and Liberty.

研究动机与目标

• 设计一种稀疏随机投影矩阵，在高概率下保持成对距离的同时最小化每列的非零条目数。
• 通过引入基于哈希的结构化依赖关系，突破独立同分布随机矩阵在稀疏性上的已知 Ω(1/ε²) 下界。
• 为稀疏向量和流式数据实现更快的更新时间，尤其在全局变换代价高昂的 turnstile 模型中。
• 为一大类投影矩阵建立匹配的稀疏性下界，证明该构造在渐近意义下最优。

提出的方法

• 使用将每个维度映射到恰好一个哈希桶的哈希函数构造投影矩阵，从而在条目间引入受控依赖关系。
• 采用 ±1 随机变量而非高斯分布，以获得更紧的集中不等式并简化方差分析。
• 应用 FKG 不等式处理不同哈希桶误差贡献之间的相关性，确保总误差的集中性。
• 采用复制技术对稀疏输入向量进行稠化，将满足 JL 性质所需的 ∥x∥∞ 从 O(ε) 降低至 O(√ε)。
• 使用块 Hadamard 预条件化技术，实现所有向量的 ˜O(min(nnz(x)/ε, d)) 最坏情况运行时间。
• 使用 Nisan 的伪随机生成器对哈希函数进行去随机化，但若无更高效的去随机化方法，将使更新时间增加至 ˜O(k)。

实验结果

研究问题

• RQ1 能否构造一种 Johnson-Lindenstrauss 变换，使得每列非零条目数为 o(1/ε²)，同时保持 (1±ε) 的畸变？
• RQ2 基于哈希的构造是否可通过固定列稀疏性和结构化依赖关系，实现优于独立同分布随机矩阵的稀疏性和更快的更新时间？
• RQ3 在一般条件下，满足 JL 性质的矩阵每列非零条目数的最优下界是多少？
• RQ4 能否通过稀疏且结构化的投影方法，将 turnstile 流式模型中稀疏向量的更新时间降低至 ˜O(d) 以下？
• RQ5 所提出的构造是否最优？能否为一大类投影矩阵证明匹配的下界？

主要发现

• 本文构造的稀疏 Johnson-Lindenstrauss 变换每列具有 O(1/ε log²(k/δ) log(1/δ)) 个非零条目，实现了 o(1/ε²) 的稀疏性。
• 该方法实现了每非零输入元素 ˜O(1/ε) 的更新时间，显著优于先前方法的 ˜O(1/ε²) 时间。
• 证明了对于一大类投影矩阵，每列非零条目数的下界为 Ω(min(1/ε², √log k(d)/ε))，且该下界与构造匹配。
• 对于稀疏向量，运行时间为 ˜O(nnz(x)/ε)，在稀疏比和 ε 依赖性方面优于现有方法。
• 该构造对所有向量实现了 ˜O(min(nnz(x)/ε, d)) 的最坏情况时间，与稀疏向量的最佳已知界一致。
• 该方法在稀疏性和更新时间方面均为最优，且即使在非零条目具有较弱矩条件时，该下界依然成立。