[论文解读] Homogeneous Network Embedding for Massive Graphs via Reweighted Personalized PageRank

Renchi Yang, J. Y. Shi+3 more|arXiv (Cornell University)|Jun 17, 2019

Advanced Graph Neural Networks参考文献 71被引用 4

一句话总结

本文提出节点重加权PageRank（NRP），一种可扩展且高效的同构网络嵌入方法，通过重加权个性化PageRank在大规模图中实现。通过将节点度信息整合到PPR中以纠正其局部偏差，NRP在链接预测、节点分类和图重构任务中达到最先进性能，且在单个CPU核心上处理十亿条边的Twitter图时运行时间不足4小时。

ABSTRACT

Given an input graph G and a node v in G, homogeneous network embedding (HNE) maps the graph structure in the vicinity of v to a compact, fixed-dimensional feature vector. This paper focuses on HNE for massive graphs, e.g., with billions of edges. On this scale, most existing approaches fail, as they incur either prohibitively high costs, or severely compromised result utility. Our proposed solution, called Node-Reweighted PageRank (NRP), is based on a classic idea of deriving embedding vectors from pairwise personalized PageRank (PPR) values. Our contributions are twofold: first, we design a simple and efficient baseline HNE method based on PPR that is capable of handling billion-edge graphs on commodity hardware; second and more importantly, we identify an inherent drawback of vanilla PPR, and address it in our main proposal NRP. Specifically, PPR was designed for a very different purpose, i.e., ranking nodes in G based on their relative importance from a source node's perspective. In contrast, HNE aims to build node embeddings considering the whole graph. Consequently, node embeddings derived directly from PPR are of suboptimal utility. The proposed NRP approach overcomes the above deficiency through an effective and efficient node reweighting algorithm, which augments PPR values with node degree information, and iteratively adjusts embedding vectors accordingly. Overall, NRP takes O(mlogn) time and O(m) space to compute all node embeddings for a graph with m edges and n nodes. Our extensive experiments that compare NRP against 18 existing solutions over 7 real graphs demonstrate that NRP achieves higher result utility than all the solutions for link prediction, graph reconstruction and node classification, while being up to orders of magnitude faster. In particular, on a billion-edge Twitter graph, NRP terminates within 4 hours, using a single CPU core.

研究动机与目标

• 解决现有同构网络嵌入（HNE）方法在拥有数十亿条边的大规模图上的可扩展性和实用性局限。
• 识别原始个性化PageRank（PPR）在HNE中的固有缺陷：PPR专为局部排序设计，而非全局图表示，导致嵌入质量欠佳。
• 开发一种节点重加权机制，将节点度信息整合到PPR中，以提升嵌入质量，同时保持高效性。
• 在商品硬件上实现大规模图上的下游任务（链接预测、节点分类、图重构）的高性能表现。

提出的方法

• 提出节点重加权PageRank（NRP），一种新颖的HNE方法，通过重加权策略将节点度信息整合到标准PPR中以增强其性能。
• 设计一种迭代算法，基于重加权PPR值更新嵌入向量，采用从最小化正则化目标函数推导出的闭式更新规则。
• 使用前向与后向权重更新机制（算法2和4），在O(m log n)时间复杂度和O(m)空间复杂度内高效计算嵌入，其中m为边数。
• 引入参数化近似方案，参数包括ℓ₁、ℓ₂、α和ε，以控制精度与收敛性，实现速度与精度之间的权衡。
• 利用PPR值总结无限随机游走的特性，将其作为多跳拓扑结构的紧凑且信息丰富的代理。
• 应用对称重加权函数，按节点度缩放PPR值，确保高阶节点对嵌入有显著贡献，同时不扭曲全局结构。

实验结果

研究问题

• RQ1 能否在不产生禁止性计算成本的前提下，有效重用于大规模图的可扩展同构网络嵌入？
• RQ2 使用原始PPR进行HNE的关键局限是什么？它们如何影响全局图表示任务中的嵌入质量？
• RQ3 能否将节点度信息整合到PPR中，以纠正其局部偏差，并提升下游机器学习任务的嵌入实用性？
• RQ4 能否设计一种高效、迭代的重加权算法，在保持线性时间复杂度的同时显著提升大规模图上的嵌入质量？

主要发现

• 在7个真实世界图上，NRP在链接预测、图重构和节点分类任务中均优于全部18种对比方法，表现出更高的结果实用性。
• 在十亿条边的Twitter图上，NRP仅使用单个CPU核心，便在4小时内完成所有节点嵌入的计算，展现出卓越的可扩展性。
• 在有向Digg数据集上，NRP在AUC指标上比基于PPR的基线方法（如STRAP、VERSE和APP）至少高出0.7%，表明其在演化图上的优越性能。
• NRP的运行时间与节点数和边数均呈线性增长，验证了其O(m log n)时间复杂度，展现出强大的可扩展性。
• 增加ℓ₂和ℓ₁参数会延长运行时间，而α的影响微乎其微，与理论时间复杂度模型一致。
• 节点重加权机制通过纠正PPR的局部偏差，显著提升了嵌入质量，该结论在多个基准任务和数据集上均得到验证。