[论文解读] Billion-scale Network Embedding with Iterative Random Projection

Ziwei Zhang, Peng Cui+3 more|arXiv (Cornell University)|May 7, 2018

Advanced Graph Neural Networks参考文献 35被引用 5

一句话总结

RandNE 是一种新颖且高效的网络嵌入方法，适用于十亿规模的网络，通过迭代高斯随机投影在不显式计算的情况下保留高阶节点邻近性。该方法相比最先进方法实现高达100倍的速度提升，支持无通信的分布式计算，并可在不累积误差的情况下实现动态网络更新，仅用16台服务器在7小时内为包含2.5亿个节点的微信网络生成512维嵌入。

ABSTRACT

Network embedding, which learns low-dimensional vector representation for nodes in the network, has attracted considerable research attention recently. However, the existing methods are incapable of handling billion-scale networks, because they are computationally expensive and, at the same time, difficult to be accelerated by distributed computing schemes. To address these problems, we propose RandNE (Iterative Random Projection Network Embedding), a novel and simple billion-scale network embedding method. Specifically, we propose a Gaussian random projection approach to map the network into a low-dimensional embedding space while preserving the high-order proximities between nodes. To reduce the time complexity, we design an iterative projection procedure to avoid the explicit calculation of the high-order proximities. Theoretical analysis shows that our method is extremely efficient, and friendly to distributed computing schemes without any communication cost in the calculation. We also design a dynamic updating procedure which can efficiently incorporate the dynamic changes of the networks without error aggregation. Extensive experimental results demonstrate the efficiency and efficacy of RandNE over state-of-the-art methods in several tasks including network reconstruction, link prediction and node classification on multiple datasets with different scales, ranging from thousands to billions of nodes and edges.

研究动机与目标

• 为解决现有网络嵌入方法在十亿规模网络上因计算成本高昂和分布式可扩展性差而导致的计算不可行问题。
• 设计一种方法，高效保留高阶邻近性，而无需显式计算高阶邻近性矩阵。
• 为大规模网络嵌入实现无通信的分布式计算。
• 在不累积迭代误差的情况下支持动态网络更新。
• 在真实世界的十亿规模网络上实现高效率与具有竞争力的性能。

提出的方法

• 提出一种高斯随机投影方法，将网络节点映射到低维空间，同时保留高阶邻近性。
• 引入一种迭代投影过程，避免显式计算高阶邻近性矩阵，将时间复杂度降低至线性。
• 该迭代方法通过连续的随机投影近似高阶邻近性保留的矩阵分解目标。
• 理论分析证明了该方法在分布式环境中的计算效率和无通信特性。
• 引入一种动态更新过程，通过网络变化增量调整嵌入，防止误差累积。
• 采用随机化、可扩展的框架，天然兼容分布式系统和流式数据。

实验结果

研究问题

• RQ1 随机投影能否有效适应于稀疏的十亿规模网络中的高阶邻近性保留？
• RQ2 迭代投影能否在不显式计算高阶邻近性矩阵的情况下消除对高阶邻近性计算的需求，同时保持嵌入质量？
• RQ3 所提方法是否能在无通信开销的分布式环境中实现线性加速？
• RQ4 该方法能否在不累积误差的情况下高效处理动态网络变化？
• RQ5 该方法在从数千到数十亿个节点的网络中，其运行时间和准确性如何扩展？

主要发现

• RandNE 在从数千到数十亿个节点和边的数据集上进行网络嵌入任务时，相比最先进方法实现高达100倍的速度提升。
• 在微信网络（2.5亿个节点，48亿条边）上，RandNE 仅用16台分布式服务器在7小时内完成512维嵌入的计算。
• 该方法在1至4个子集群之间表现出约0.8的斜率，显示出线性加速，表明其具有强大的分布式可扩展性。
• RandNE-D（动态更新）在AUC评分上与RandNE-R（从头重新运行）完全一致，证明在动态环境中无误差累积。
• 在链接预测和节点分类任务中，RandNE 始终优于或匹配基线方法，尤其在高阶邻近性至关重要的大规模网络中表现更优。
• 理论和实证结果证实，RandNE 计算高效，分布式环境下无通信开销，且对动态网络演化具有鲁棒性。