[论文解读] Compressive spectral embedding: sidestepping the SVD

Dinesh Ramasamy, Upamanyu Madhow|arXiv (Cornell University)|Sep 28, 2015

Sparse and Compressive Sensing Techniques参考文献 27被引用 7

一句话总结

该论文提出了一种低复杂度的压缩谱嵌入方法，通过使用随机投影和谱函数的低阶多项式近似，绕过了计算成本高昂的部分SVD。该方法实现了 $ O((\tau + m + n)/\log(m+n)) $ 的时间复杂度和 $ O(\log(m+n)) $ 的嵌入维度，且与奇异向量的数量无关，在真实世界图数据上的聚类质量和速度均优于基于标准SVD的嵌入方法。

ABSTRACT

Spectral embedding based on the Singular Value Decomposition (SVD) is a widely used "preprocessing" step in many learning tasks, typically leading to dimensionality reduction by projecting onto a number of dominant singular vectors and rescaling the coordinate axes (by a predefined function of the singular value). However, the number of such vectors required to capture problem structure grows with problem size, and even partial SVD computation becomes a bottleneck. In this paper, we propose a low-complexity it compressive spectral embedding algorithm, which employs random projections and finite order polynomial expansions to compute approximations to SVD-based embedding. For an m times n matrix with T non-zeros, its time complexity is O((T+m+n)log(m+n)), and the embedding dimension is O(log(m+n)), both of which are independent of the number of singular vectors whose effect we wish to capture. To the best of our knowledge, this is the first work to circumvent this dependence on the number of singular vectors for general SVD-based embeddings. The key to sidestepping the SVD is the observation that, for downstream inference tasks such as clustering and classification, we are only interested in using the resulting embedding to evaluate pairwise similarity metrics derived from the euclidean norm, rather than capturing the effect of the underlying matrix on arbitrary vectors as a partial SVD tries to do. Our numerical results on network datasets demonstrate the efficacy of the proposed method, and motivate further exploration of its application to large-scale inference tasks.

研究动机与目标

• 解决大规模矩阵谱嵌入中部分SVD带来的可扩展性瓶颈。
• 在保持下游任务中使用的成对相似性度量的前提下，降低降维过程中的计算复杂度。
• 在无需显式计算SVD的情况下，高效地将大量主导奇异向量嵌入到低维空间。
• 通过捕捉比标准部分SVD更多的结构信息，提升大规模数据集上的聚类和分类性能。
• 提供一种可证明准确、低复杂度的SVD基谱嵌入替代方案，其可扩展性与奇异向量数量无关。

提出的方法

• 使用低阶多项式 $ p_L(\sigma) $ 近似谱函数 $ f(\sigma) $，通过矩阵-向量乘积实现迭代计算。
• 利用随机投影压缩矩阵，基于Johnson-Lindenstrauss引理保持基于 $ \ell_2 $ 的成对距离。
• 通过 $ A\mathbf{q} $ 和 $ A^T\mathbf{q} $ 操作迭代计算嵌入，避免完整的SVD分解。
• 将最终嵌入构造为压缩矩阵-向量乘积的线性组合，近似主导 $ k $ 个奇异向量的影响。
• 采用谱函数 $ f(\sigma) $ 的多项式展开，以在单个低维嵌入中捕捉多个奇异向量的影响。
• 使用阈值函数 $ f(\lambda) = I(\lambda \geq c) $ 隐式选择相关特征向量，实现对 $ k $ 的优化而无需显式计算。

实验结果

研究问题

• RQ1 我们能否在不计算部分SVD的情况下近似SVD基谱嵌入，同时保持基于 $ \ell_2 $ 的成对相似性度量？
• RQ2 我们能否实现一种与所需捕获结构的主导奇异向量数量无关的低维嵌入？
• RQ3 通过随机投影和多项式近似实现的压缩嵌入，是否在下游推理任务中优于标准部分SVD？
• RQ4 我们能否在压缩框架中通过使用阈值化谱函数隐式优化奇异向量数量？
• RQ5 所提出的方法在真实世界图推理任务中是否具备足够的可扩展性和准确性，以超越精确和近似SVD基嵌入？

主要发现

• 该压缩谱嵌入在Amazon共购买网络上实现了0.87的中位模块度，显著优于标准SVD基嵌入（0.835）和随机化SVD（0.748）。
• 该方法在DBLP图上仅用1.5分钟即计算出80维嵌入，而精确部分SVD耗时105分钟，实现了70倍加速。
• 该压缩嵌入在聚类质量上优于使用80个特征向量的精确SVD和使用120个特征向量的随机化SVD，表明其捕捉了更多相关结构信息。
• 该算法的时间复杂度为 $ O((\tau + m + n)\log(m+n)) $，嵌入维度为 $ O(\log(m+n)) $，两者均与奇异向量数量无关。
• 该方法可证明地近似谱嵌入空间中的成对 $ \ell_2 $ 距离，从而在无需显式SVD计算的情况下实现准确的下游推理。
• 该压缩方法通过阈值函数 $ f(\lambda) = I(\lambda \geq c) $ 实现对显著奇异向量数量的隐式优化，避免了需预先固定 $ k $ 的需求。