[论文解读] Homogeneous Network Embedding for Massive Graphs via Personalized PageRank.

Renchi Yang, J. Y. Shi+3 more|arXiv (Cornell University)|Jun 17, 2019

Complex Network Analysis Techniques被引用 3

一句话总结

本文提出节点重加权PageRank（NRP），一种可扩展且高效的同质图嵌入方法，通过结合节点度重加权的个性化PageRank，显著提升嵌入质量。NRP在链接预测、节点分类和图重构任务中均达到最先进性能，且在单个CPU核心上处理十亿条边的图仅需不到4小时。

ABSTRACT

Given an input graph G and a node v in G, homogeneous network embedding (HNE) maps the graph structure in the vicinity of v to a compact, fixed-dimensional feature vector. This paper focuses on HNE for massive graphs, e.g., with billions of edges. On this scale, most existing approaches fail, as they incur either prohibitively high costs, or severely compromised result utility. Our proposed solution, called Node-Reweighted PageRank (NRP), is based on a classic idea of deriving embedding vectors from pairwise personalized PageRank (PPR) values. Our contributions are twofold: first, we design a simple and efficient baseline HNE method based on PPR that is capable of handling billion-edge graphs on commodity hardware; second and more importantly, we identify an inherent drawback of vanilla PPR, and address it in our main proposal NRP. Specifically, PPR was designed for a very different purpose, i.e., ranking nodes in G based on their relative importance from a source node's perspective. In contrast, HNE aims to build node embeddings considering the whole graph. Consequently, node embeddings derived directly from PPR are of suboptimal utility. The proposed NRP approach overcomes the above deficiency through an effective and efficient node reweighting algorithm, which augments PPR values with node degree information, and iteratively adjusts embedding vectors accordingly. Overall, NRP takes O(mlogn) time and O(m) space to compute all node embeddings for a graph with m edges and n nodes. Our extensive experiments that compare NRP against 18 existing solutions over 7 real graphs demonstrate that NRP achieves higher result utility than all the solutions for link prediction, graph reconstruction and node classification, while being up to orders of magnitude faster. In particular, on a billion-edge Twitter graph, NRP terminates within 4 hours, using a single CPU core.

研究动机与目标

• 解决现有同质图嵌入（HNE）方法在拥有数十亿条边的超大规模图上存在的可扩展性和实用性局限。
• 识别并解决原始个性化PageRank（PPR）与HNE目标之间的固有不匹配问题，其中PPR更侧重于排序而非结构表示。
• 设计一种轻量级、兼容通用硬件的HNE方法，在大规模图上保持高嵌入质量。
• 将节点度信息整合到PPR中，以提升学习到的嵌入的表征保真度。

提出的方法

• NRP通过引入节点重加权机制扩展了个性化PageRank（PPR），将节点度信息融入PPR值中，以更准确地反映节点的结构角色。
• 该方法通过迭代调整嵌入向量，利用重加权后的PPR得分，增强其捕捉全局图结构的能力。
• 保持O(m log n)的时间复杂度和O(m)的空间复杂度，使在十亿条边图上高效计算成为可能。
• 重加权过程设计为计算开销极低，既保持了PPR的高效性，又提升了嵌入的实用性。
• NRP使用从重加权PPR值中提取的固定维向量表示每个节点。
• 该算法仅使用单个CPU核心实现，无需专用硬件基础设施，可在标准硬件上直接部署。

实验结果

研究问题

• RQ1 能否使基于PPR的方法在超大规模图的同质图嵌入中兼具可扩展性与有效性？
• RQ2 在PPR中引入节点度信息是否能提升学习到的节点嵌入的实用性？
• RQ3 在多个下游任务中，NRP与18种现有HNE方法相比，在性能和效率上表现如何？
• RQ4 NRP是否能在仅使用单个CPU核心的情况下，于十亿条边的图上实现不到4小时的运行时间，并达到最先进水平？
• RQ5 所提出的节点重加权机制是否能有效纠正原始PPR在HNE中固有的局限性？

主要发现

• 在链接预测、图重构和节点分类任务中，NRP在所有18种对比方法中均展现出更高的结果实用性。
• 在十亿条边的Twitter图上，NRP仅用单个CPU核心在4小时内完成计算，展现出卓越的可扩展性。
• NRP在速度和准确率上均优于现有方法，运行时间最高可实现数个数量级的性能提升。
• 通过重加权机制整合节点度信息，显著提升了嵌入质量，相比原始PPR有明显改进。
• 该方法保持O(m log n)的时间复杂度和O(m)的空间复杂度，使在通用硬件上高效处理大规模图成为可能。
• 在7个真实世界图上的广泛实验验证了NRP在多样化图结构和任务中的鲁棒性与优越性。