[论文解读] InstantEmbedding: Efficient Local Node Representations

Ştefan Postăvaru, Anton Tsitsulin+4 more|arXiv (Cornell University)|Oct 14, 2020

Advanced Graph Neural Networks被引用 7

一句话总结

InstantEmbedding 是一种新颖的方法，通过使用局部个性化 PageRank（PPR）计算，在亚线性时间内生成全局一致且高质量的节点嵌入。与最先进的方法如 DeepWalk 和 node2vec 相比，它实现了高达 9,000 倍的推理速度提升和 8,000 倍的内存使用降低，同时在节点分类和链接预测任务上达到或超越当前最先进水平。

ABSTRACT

In this paper, we introduce InstantEmbedding, an efficient method for generating single-node representations using local PageRank computations. We theoretically prove that our approach produces globally consistent representations in sublinear time. We demonstrate this empirically by conducting extensive experiments on real-world datasets with over a billion edges. Our experiments confirm that InstantEmbedding requires drastically less computation time (over 9,000 times faster) and less memory (by over 8,000 times) to produce a single node's embedding than traditional methods including DeepWalk, node2vec, VERSE, and FastRP. We also show that our method produces high quality representations, demonstrating results that meet or exceed the state of the art for unsupervised representation learning on tasks like node classification and link prediction.

研究动机与目标

• 解决全图嵌入方法在大规模、稀疏标签图中效率低下的问题。
• 开发一种基于局部结构信息的本地节点嵌入方法，实现实时计算表示。
• 确保生成的嵌入与现有图嵌入标准全局一致，适用于下游任务。
• 在保持高表示质量的同时，大幅降低计算和内存开销。
• 为嵌入过程的局部性和全局一致性提供理论保证。

提出的方法

• 以局部个性化 PageRank（PPR）向量作为节点表示的基础。
• 应用局部敏感哈希（LSH）将高阶 PPR 相似性压缩为低维嵌入。
• 采用理论框架将 PPR 矩阵分解与嵌入一致性联系起来。
• 通过限制随机游走深度（以 ϵ 为阈值），在亚线性时间 O(1/α(1−α)ϵ + d) 内计算嵌入。
• 使用最大值操作符在有界邻域内聚合 PPR 值，确保局部性。
• 通过与底层 PPR 矩阵结构对齐，确保全局一致性。

实验结果

研究问题

• RQ1 基于局部 PPR 的嵌入能否实现与全图嵌入方法相当的全局一致性？
• RQ2 一种本地嵌入方法能否在显著降低时间和内存消耗的前提下，实现节点分类和链接预测任务的最先进性能？
• RQ3 ϵ（精度阈值）的选择如何影响准确率与计算成本之间的权衡？
• RQ4 基于局部 PPR 的嵌入生成过程的理论时间与内存复杂度是多少？
• RQ5 在不同类型的图中，哪种嵌入聚合策略（如哈达玛积、L2 距离）能实现最稳健的性能表现？

主要发现

• 在十亿条边的图上，InstantEmbedding 相较于 DeepWalk、node2vec、VERSE 和 FastRP，推理速度最快可达 9,000 倍，内存使用降低 8,000 倍。
• 在 BlogCatalog 数据集上，当 d=2048 时，InstantEmbedding 在链接预测任务中达到 93.84% 的 ROC-AUC，优于 node2vec（93.72%）和 FastRP（90.99%）。
• 在 CoAuthor 数据集上，当 d=2048 时，InstantEmbedding 达到 90.84% 的 ROC-AUC，优于 VERSE（92.75%）和 FastRP（82.19%）。
• 在 PPI 和 Flickr 数据集上的微 F1 分数显示，降低 ϵ 可提升准确率，直至 ϵ=10−6 时达到最优，但最低 epsilon 时因信息截断导致性能略有下降。
• UMAP 可视化结果表明，InstantEmbedding 能够保留有意义的聚类结构（如 CoCit 中的研究领域），与 VERSE 和 DeepWalk 等最先进方法相当。
• 该方法在六大数据集（PPI、BlogCatalog、CoCit、Flickr、YouTube、CoAuthor）上均表现出鲁棒性：在链接预测和节点分类任务中均达到最佳或接近最佳性能。