[论文解读] Parallel Computation of Graph Embeddings

Chi Thang Duong, Hongzhi Yin+5 more|arXiv (Cornell University)|Sep 6, 2019

Advanced Graph Neural Networks参考文献 22被引用 4

一句话总结

本文提出了一种可扩展的框架，用于在分布式集群上并行化图嵌入，通过锚点顶点将大型图分解为子图，以在计算节点之间协调嵌入。该方法在理论误差界内实现了高质量的嵌入，并在真实世界数据集上展现出优于先前方法的可扩展性和性能。

ABSTRACT

Graph embedding aims at learning a vector-based representation of vertices that incorporates the structure of the graph. This representation then enables inference of graph properties. Existing graph embedding techniques, however, do not scale well to large graphs. We therefore propose a framework for parallel computation of a graph embedding using a cluster of compute nodes with resource constraints. We show how to distribute any existing embedding technique by first splitting a graph for any given set of constrained compute nodes and then reconciling the embedding spaces derived for these subgraphs. We also propose a new way to evaluate the quality of graph embeddings that is independent of a specific inference task. Based thereon, we give a formal bound on the difference between the embeddings derived by centralised and parallel computation. Experimental results illustrate that our approach for parallel computation scales well, while largely maintaining the embedding quality.

研究动机与目标

• 解决将图嵌入技术扩展到包含数十亿个节点和数万亿条边的大型图的挑战。
• 克服分布式集群中的资源限制，特别是每个计算节点的有限内存。
• 开发一种方法，以协调在隔离状态下处理的子图嵌入，确保全局嵌入的一致性和意义性。
• 提出一种与任务无关的内在度量，以独立于下游推理任务评估嵌入质量。
• 提供集中式与并行嵌入之间差异的理论边界，以确保质量保证。

提出的方法

• 使用受限图划分策略将大型图分解为子图，以尊重单个节点的内存限制。
• 引入跨子图共享的锚点顶点，以实现来自不同计算节点的嵌入空间对齐。
• 应用一种新颖的锚点选择策略，通过优先选择结构中心度和连通性高的顶点来最小化嵌入失真。
• 使用成对内积（PIP）度量作为内在评估方法，以在不依赖下游任务的情况下衡量嵌入质量。
• 通过线性变换协调子图嵌入，以对齐不同嵌入空间中的锚点向量。
• 理论分析基于PIP距离和锚点一致性，为集中式与并行嵌入之间的差异提供了正式边界。

实验结果

研究问题

• RQ1 如何在内存受限的计算节点集群上有效划分大型图，以实现可扩展的图嵌入？
• RQ2 何种机制可确保来自不相交子图的嵌入空间的一致且有意义的对齐？
• RQ3 在分布式环境中，一种内在的、与任务无关的度量能否可靠评估图嵌入的质量？
• RQ4 集中式与并行计算的嵌入质量之间存在何种理论关系？是否可以建立边界？
• RQ5 与现有分布式图嵌入方法相比，所提出的框架在可扩展性和性能方面表现如何？

主要发现

• 所提出的基于锚点的协调机制一致提升了嵌入质量，在Flickr数据集上使用DeepWalk时，F1分数从0.365提升至0.384。
• 协调后的嵌入（Recon-S）与集中式嵌入的PIP距离低于未协调的嵌入，表明其保真度更高。
• 在Arxiv数据集上使用DeepWalk时，协调使链接预测的AUC（ROC）从0.843提升至0.878，AP从0.883提升至0.899。
• 该框架在多个计算节点上表现出高效的可扩展性，即使在包含数十亿个节点的图上也能保持高质量的嵌入。
• 通过PIP距离推导出嵌入差异的理论边界，为并行化导致的质量退化提供了正式保证。
• 该方法优于PB G（唯一现有的基于集群的方法），支持任何嵌入技术，包括GraphSAGE和SGN等深度模型，且可在无共享集群环境中运行。