[论文解读] Fast and Accurate Network Embeddings via Very Sparse Random Projection

Haochen Chen, Syed Fahad Sultan+3 more|arXiv (Cornell University)|Aug 30, 2019

Advanced Graph Neural Networks参考文献 35被引用 4

一句话总结

FastRP 是一种高度可扩展的网络嵌入方法，通过构建捕捉高阶邻近性的归一化节点相似性矩阵，并应用极稀疏随机投影进行降维。该方法在节点分类和链接预测等下游任务中性能与 DeepWalk 相当或更优，同时实现了比 DeepWalk 快 4,000 倍以上的速度提升。

ABSTRACT

We present FastRP, a scalable and performant algorithm for learning distributed node representations in a graph. FastRP is over 4,000 times faster than state-of-the-art methods such as DeepWalk and node2vec, while achieving comparable or even better performance as evaluated on several real-world networks on various downstream tasks. We observe that most network embedding methods consist of two components: construct a node similarity matrix and then apply dimension reduction techniques to this matrix. We show that the success of these methods should be attributed to the proper construction of this similarity matrix, rather than the dimension reduction method employed. FastRP is proposed as a scalable algorithm for network embeddings. Two key features of FastRP are: 1) it explicitly constructs a node similarity matrix that captures transitive relationships in a graph and normalizes matrix entries based on node degrees; 2) it utilizes very sparse random projection, which is a scalable optimization-free method for dimension reduction. An extra benefit from combining these two design choices is that it allows the iterative computation of node embeddings so that the similarity matrix need not be explicitly constructed, which further speeds up FastRP. FastRP is also advantageous for its ease of implementation, parallelization and hyperparameter tuning. The source code is available at https://github.com/GTmac/FastRP.

研究动机与目标

• 解决当前最先进的网络嵌入方法中存在的可扩展性瓶颈，这些方法因采样和降维过程中的高常数因子而效率低下。
• 识别出网络嵌入质量主要源于相似性矩阵的合理构建，而非降维技术的选择。
• 开发一种将相似性矩阵构建与昂贵优化解耦的方法，实现迭代式、内存高效的计算。
• 在大规模图上实现高性能与极致速度提升，同时不牺牲表示质量。

提出的方法

• 通过邻接矩阵的幂次构建基于高阶邻近性的节点相似性矩阵，捕捉多跳传播的传递关系。
• 采用一种新颖的归一化方案，利用 $\mathbf{A}^k$ 的收敛特性，对高阶度节点进行加权抑制，形式化为矩阵乘法以提升效率。
• 使用极稀疏随机投影（VSRP）作为可扩展且无需优化的降维技术，替代计算量大的 Skip-gram 模型。
• 通过结合归一化与 VSRP，实现嵌入的迭代计算，避免显式存储完整的相似性矩阵。
• 将整个流程形式化为一系列矩阵运算，以支持并行化和高效实现。
• 利用归一化相似性矩阵与 VSRP 的数学结构，支持流式或增量计算，降低内存开销。

实验结果

研究问题

• RQ1 能否通过将相似性矩阵构建与昂贵优化解耦，使网络嵌入方法在保持高精度的同时实现超高运行速度？
• RQ2 在稀疏的真实世界图中，合理的节点度归一化对学习到的嵌入质量有何影响？
• RQ3 与传统的密集型或高斯随机投影相比，极稀疏随机投影在可扩展性和表示质量方面表现如何？
• RQ4 通过结合归一化相似性矩阵与稀疏随机投影，能否实现嵌入的迭代计算？
• RQ5 在保持或提升精度的前提下，FastRP 能在多大程度上超越 DeepWalk 等先进方法的运行速度？

主要发现

• 在 YouTube 图上，FastRP 相较于 DeepWalk 实现了超过 4,000 倍的速度提升，嵌入计算仅需数分钟而非数天完成。
• FastRP 在多个真实世界网络上的节点分类和链接预测任务中，生成的嵌入质量与 DeepWalk 和 node2vec 相当或更优。
• 通过归一化相似性矩阵构建显著提升了嵌入质量，有效缓解了高阶度节点的主导效应，这一因素在以往工作中被忽视。
• 极稀疏随机投影实现了高速降维，且无需迭代优化，而传统 Skip-gram 方法则依赖此类计算密集型过程。
• 迭代计算框架使 FastRP 避免显式生成完整的相似性矩阵，从而降低内存使用并提升可扩展性。
• 该方法易于并行化，且超参数调优需求极少，显著提升了实际部署的便捷性。