[论文解读] Fast Eigenspace Approximation using Random Signals

Johan Paratte, Lionel Martin|arXiv (Cornell University)|Nov 3, 2016

Complex Network Analysis Techniques参考文献 3被引用 14

一句话总结

该论文提出了一种快速近似图拉普拉斯矩阵前 $k$ 个特征向量的方法，仅需通过拉普拉斯矩阵对 $k$ 个独立同分布的高斯随机信号进行滤波。证明了使用 $k$ 个信号可精确恢复最小的 $k$ 个特征向量，并提出了高效的特征子空间近似与第 $k$ 个特征值估计算法，在 $N$ 上实现线性缩放，实现近乎完美的重构。

ABSTRACT

We focus in this work on the estimation of the first $k$ eigenvectors of any graph Laplacian using filtering of Gaussian random signals. We prove that we only need $k$ such signals to be able to exactly recover as many of the smallest eigenvectors, regardless of the number of nodes in the graph. In addition, we address key issues in implementing the theoretical concepts in practice using accurate approximated methods. We also propose fast algorithms both for eigenspace approximation and for the determination of the $k$th smallest eigenvalue $λ_k$. The latter proves to be extremely efficient under the assumption of locally uniform distribution of the eigenvalue over the spectrum. Finally, we present experiments which show the validity of our method in practice and compare it to state-of-the-art methods for clustering and visualization both on synthetic small-scale datasets and larger real-world problems of millions of nodes. We show that our method allows a better scaling with the number of nodes than all previous methods while achieving an almost perfect reconstruction of the eigenspace formed by the first $k$ eigenvectors.

研究动机与目标

• 解决在数据科学任务中，大规模图拉普拉斯矩阵精确特征分解带来的高计算成本问题。
• 开发一种可扩展的谱聚类与降维替代方法，避免昂贵的 SVD 或迭代特征求解器。
• 通过最少数量的随机信号滤波，实现对特征子空间的高精度低秩近似。
• 设计一种高效算法，在局部特征值分布均匀的假设下估计第 $k$ 个最小特征值 $λ_k$。
• 在与节点数 $N$ 线性缩放的同时，实现近乎完美的特征子空间重构。

提出的方法

• 通过图拉普拉斯矩阵 $\mathcal{L}$ 对 $k$ 个独立同分布的高斯随机信号进行滤波，使用矩阵幂或多项式滤波器。
• 通过低秩 SVD 将滤波后的信号投影到特征子空间，利用 $k$ 个信号可精确恢复前 $k$ 个特征向量。
• 利用高斯分布在正交投影下的不变性，保持变换前后统计特性的一致性。
• 利用特征计数技术，通过分析滤波后信号谱中的特征值分布，高效估计 $\lambda_k$。
• 使用多项式或指数衰减核近似理想低通滤波器，以提升数值稳定性和效率。
• 实现一种快速、单线程的算法，避免完整矩阵对角化，将复杂度降低至 $\mathcal{O}(k^2N)$。

实验结果

研究问题

• RQ1 是否仅使用 $k$ 个高斯随机信号即可精确恢复图拉普拉斯矩阵前 $k$ 个最小特征向量？
• RQ2 在不进行完整特征分解的前提下，如何高效估计第 $k$ 个最小特征值 $\lambda_k$？
• RQ3 实现具有保证收敛性的高精度特征子空间近似的最少随机信号数量是多少？
• RQ4 与标准滤波方法相比，多项式或平滑核滤波是否能提升特征子空间恢复的效率与稳定性？
• RQ5 在包含数百万个节点的大规模图上，该方法在实际应用中的可扩展性如何？与 t-SNE 或 LargeVis 等最先进方法相比表现如何？

主要发现

• 该方法仅使用 $k$ 个高斯随机信号，即可在任意图大小 $N$ 下精确恢复前 $k$ 个最小特征向量。
• 该算法在 $N$ 上呈线性缩放，复杂度为 $\mathcal{O}(k^2N)$，显著优于标准 SVD 与迭代方法。
• 在 MNIST 数据集上，该方法在 0.06 小时内完成 2D 嵌入，而 t-SNE 耗时 0.46 小时，LargeVis 耗时 0.26 小时。
• 在 LiveJournal 图（180 万个节点）上，该方法耗时 78.79 小时完成，而拉普拉斯特征映射因内存超过 128 GB 而失败。
• 该方法比 t-SNE 快一个数量级，且在速度上优于 LargeVis，尽管在可视化质量上未完全匹配其表现。
• 在局部特征值分布均匀的假设下，所提出的特征值估计算法极为高效，可实现快速 $\lambda_k$ 检测。