[论文解读] GPT-GNN: Generative Pre-Training of Graph Neural Networks

Ziniu Hu, Yuxiao Dong+3 more|arXiv (Cornell University)|Jun 27, 2020

Advanced Graph Neural Networks参考文献 46被引用 71

一句话总结

GPT-GNN 通过对未标注的大规模图同时建模带属性的图生成（属性）和边生成（结构），对 GNN 进行预训练；随后在下游任务上用少量标签进行微调，在 Open Academic Graph 和 Amazon 数据上取得显著提升。

ABSTRACT

Graph neural networks (GNNs) have been demonstrated to be powerful in modeling graph-structured data. However, training GNNs usually requires abundant task-specific labeled data, which is often arduously expensive to obtain. One effective way to reduce the labeling effort is to pre-train an expressive GNN model on unlabeled data with self-supervision and then transfer the learned model to downstream tasks with only a few labels. In this paper, we present the GPT-GNN framework to initialize GNNs by generative pre-training. GPT-GNN introduces a self-supervised attributed graph generation task to pre-train a GNN so that it can capture the structural and semantic properties of the graph. We factorize the likelihood of the graph generation into two components: 1) Attribute Generation and 2) Edge Generation. By modeling both components, GPT-GNN captures the inherent dependency between node attributes and graph structure during the generative process. Comprehensive experiments on the billion-scale Open Academic Graph and Amazon recommendation data demonstrate that GPT-GNN significantly outperforms state-of-the-art GNN models without pre-training by up to 9.1% across various downstream tasks.

研究动机与目标

• 通过在大规模未标注图上进行自监督预训练，减少下游 GNN 任务的标注需求。
• 对节点属性和图结构进行建模，以捕捉图的内在语义和依赖关系。
• 提供可扩展到十亿级图和异构图的高效预训练框架。
• 展示在真实世界数据集上，经过时间和领域迁移设置的预训练 GNN 的可迁移性。

提出的方法

• 提出一个带属性的图生成任务，将图的似然分解为属性生成和边生成。
• 使用依赖感知的因子分解来捕捉节点属性与边之间的相互作用。
• 将节点分为属性生成节点和边生成节点，以避免训练过程中的信息泄漏。
• 在节点置换上采用自回归图生成目标，并对属性和边使用解耦的解码方案。
• 通过一个预测被掩蔽属性的解码器来优化属性生成损失，通过对候选邻居的对比解码器来优化边生成损失。
• 利用自适应嵌入队列为边对比学习提供大量负样本，并实现对大图的基于子图的训练。
• 通过子图采样（LADIES/HGSampling）和自适应队列将框架扩展到异构和极大规模的图，以保持全局信号。

实验结果

研究问题

• RQ1 在标注有限的情况下，图的自监督生成式预训练目标是否能提升下游 GNN 的性能？
• RQ2 在预训练阶段，如何有效建模节点属性与图结构之间的耦合？
• RQ3 GPT-GNN 是否可扩展到十亿规模的图并适用于异构图？
• RQ4 时间迁移和领域迁移设置是否能对未见数据实现鲁棒的表示迁移？
• RQ5 属性生成组件与边生成组件对下游提升的贡献分别是多少？

主要发现

• GPT-GNN 能在 Open Academic Graph (OAG) 和 Amazon 数据上，将下游的节点分类和链接预测性能比最先进的非预训练模型平均提升最多 9.1%。
• 在不同的基础 GNN 和各种迁移设置下，该框架都表现出持续的性能提升。
• 属性生成和边生成组件各自对性能有贡献，二者的组合产生最佳结果。
• 该方法通过子图采样和队列自适应负样本扩展到十亿节点的图，能够处理大规模异构图。
• 在大规模图上进行预训练（OAG ~179M 节点，2B 边；Amazon ~113M 节点）使得对下游任务在有限标签下的时间迁移和领域迁移更为有效。