[论文解读] AliGraph: A Comprehensive Graph Neural Network Platform

Rong Zhu, Kun Zhao+6 more|arXiv (Cornell University)|Feb 23, 2019

Advanced Graph Neural Networks参考文献 52被引用 15

一句话总结

AliGraph 是一个为大规模、异构、带属性且动态的图设计的全面图神经网络（GNN）平台，具备优化的分布式存储、采样和运行时机制，可加速 GNN 训练与推理。相比最先进系统，其训练速度最高提升 12 倍，图构建速度提升 10 倍，内部 GNN 模型在 F1 分数上实现 4.12%–17.19% 的提升。

ABSTRACT

An increasing number of machine learning tasks require dealing with large graph datasets, which capture rich and complex relationship among potentially billions of elements. Graph Neural Network (GNN) becomes an effective way to address the graph learning problem by converting the graph data into a low dimensional space while keeping both the structural and property information to the maximum extent and constructing a neural network for training and referencing. However, it is challenging to provide an efficient graph storage and computation capabilities to facilitate GNN training and enable development of new GNN algorithms. In this paper, we present a comprehensive graph neural network system, namely AliGraph, which consists of distributed graph storage, optimized sampling operators and runtime to efficiently support not only existing popular GNNs but also a series of in-house developed ones for different scenarios. The system is currently deployed at Alibaba to support a variety of business scenarios, including product recommendation and personalized search at Alibaba's E-Commerce platform. By conducting extensive experiments on a real-world dataset with 492.90 million vertices, 6.82 billion edges and rich attributes, AliGraph performs an order of magnitude faster in terms of graph building (5 minutes vs hours reported from the state-of-the-art PowerGraph platform). At training, AliGraph runs 40%-50% faster with the novel caching strategy and demonstrates around 12 times speed up with the improved runtime. In addition, our in-house developed GNN models all showcase their statistically significant superiorities in terms of both effectiveness and efficiency (e.g., 4.12%-17.19% lift by F1 scores).

研究动机与目标

• 解决在大规模、异构、带属性且动态的真实世界图上扩展 GNN 所面临的挑战。
• 实现多样化 GNN 模型在生产工作负载中的高效训练与部署。
• 克服现有系统在存储效率、采样性能和运行时优化方面的局限性。
• 支持针对推荐和搜索等电商应用而定制的成熟与新型 GNN 算法。
• 在真实工业工作负载的分布式环境中实现高性能与高可扩展性。

提出的方法

• 设计三层系统架构：存储层采用新型图划分与索引技术，采样层配备优化的操作符，执行层采用统一的计算逻辑。
• 在运行时引入一种新型缓存策略，以减少冗余计算并提升训练吞吐量。
• 提出一种分布式图存储系统，通过高效的划分与数据布局策略，最小化 I/O 与通信开销。
• 开发专用的采样操作符，支持异构与带属性的图结构，同时保留结构与特征信息。
• 通过计算与数据的紧密耦合及最小化跨节点通信，优化 GNN 执行引擎，实现低延迟、高吞吐量的训练。
• 集成内部研发的 GNN 模型，如贝叶斯 GNN 和 GraphSAGE+贝叶斯模型，联合优化归纳学习与动态更新。

实验结果

研究问题

• RQ1 如何使 GNN 平台在保持低延迟的前提下，高效扩展至包含超过 4.9 亿个顶点和 68.2 亿条边的图？
• RQ2 在分布式环境中，哪些系统级优化最有效于加速 GNN 训练？
• RQ3 如何在单一嵌入框架中统一并高效处理异构与带属性的图信息？
• RQ4 能否使动态图中频繁的结构与属性更新场景下的增量 GNN 训练变得实用？
• RQ5 在真实电商应用场景中，新型 GNN 架构能在多大程度上超越现有模型提升性能？

主要发现

• AliGraph 的图构建速度比 PowerGraph 快 10 倍，在 4.929 亿顶点、68.2 亿边的数据集上仅用 5 分钟完成。
• 通过新型缓存策略，系统实现 40%–50% 的训练加速，减少了消息传递中的冗余计算。
• 得益于改进的运行时优化，AliGraph 相比基线系统实现高达 12 倍的 GNN 训练速度提升。
• 内部 GNN 模型（包括贝叶斯 GNN）相比标准模型，在 F1 分数上实现 4.12%–17.19% 的相对提升。
• 在 Taobao-small 数据集上，贝叶斯 GNN 在多个评估指标上实现 1%–3% 的命中召回率提升。
• 该平台已在阿里巴巴生产环境中部署，支持产品推荐与个性化搜索等关键业务工作负载。