[论文解读] A Survey of Pretraining on Graphs: Taxonomy, Methods, and Applications

Jun Xia, Yanqiao Zhu+2 more|arXiv (Cornell University)|Feb 16, 2022

Advanced Graph Neural Networks被引用 27

一句话总结

本综述按历史、架构、预训练策略、微调策略和应用对预训练图模型（PGMs）进行分类，并概述未来的研究方向。

ABSTRACT

Pretrained Language Models (PLMs) such as BERT have revolutionized the landscape of Natural Language Processing (NLP). Inspired by their proliferation, tremendous efforts have been devoted to Pretrained Graph Models (PGMs). Owing to the powerful model architectures of PGMs, abundant knowledge from massive labeled and unlabeled graph data can be captured. The knowledge implicitly encoded in model parameters can benefit various downstream tasks and help to alleviate several fundamental issues of learning on graphs. In this paper, we provide the first comprehensive survey for PGMs. We firstly present the limitations of graph representation learning and thus introduce the motivation for graph pre-training. Then, we systematically categorize existing PGMs based on a taxonomy from four different perspectives. Next, we present the applications of PGMs in social recommendation and drug discovery. Finally, we outline several promising research directions that can serve as a guideline for future research.

研究动机与目标

• 动机：图表示学习面临标注数据稀缺和分布外泛化挑战。
• 目标：提供对PGMs的全面综合，以指导研究人员和从业者。
• 方法：提出横跨历史、模型架构、预训练策略、微调策略和应用的分类法。
• 结果：概述有前景的研究方向和PGMs的潜在扩展。

提出的方法

• 提出一个五维PGMs分类法：历史、架构、预训练策略、微调策略和应用。
• 评述图预训练的世代，包括第一代和第二代GNN/Transformer混合模型。
• 涵盖有监督和无监督预训练任务，以及知识增强与扩展方法。
• 讨论微调策略，如微调和多任务微调。
• 概述扩展与知识增强方法，并提出未来研究方向。

实验结果

研究问题

• RQ1 图预训练中的核心历史里程碑和架构范式是什么？
• RQ2 PGMs使用了哪些预训练与微调策略？它们如何因任务或架构而异？
• RQ3 哪些应用和领域受益于图预训练，哪些未来方向是有前景？

主要发现

• PGMs 已经从早期的图形嵌入演变为将GNNs与Transformer结合的多样化架构。
• 预训练任务的范围包括有监督、无监督、知识增强，以及微调策略包括微调和多任务微调。
• 知识增强和扩展是活跃领域，能够更好地迁移到下游任务。
• 应用范围包括药物发现、性质预测、社会科学和化学等领域，显示出广泛的实用性。
• 本综述提供了结构化的分类法与综合，以指导未来的PGMs研究。