[论文解读] GraphPrompt: Unifying Pre-Training and Downstream Tasks for Graph Neural Networks

Zemin Liu, Xingtong Yu+2 more|arXiv (Cornell University)|Feb 16, 2023

Advanced Graph Neural Networks被引用 15

一句话总结

GraphPrompt 通过子图相似性和可学习提示将图预训练与下游任务统一起来，使单一预训练模型实现少样本节点和图分类。

ABSTRACT

Graphs can model complex relationships between objects, enabling a myriad of Web applications such as online page/article classification and social recommendation. While graph neural networks(GNNs) have emerged as a powerful tool for graph representation learning, in an end-to-end supervised setting, their performance heavily rely on a large amount of task-specific supervision. To reduce labeling requirement, the "pre-train, fine-tune" and "pre-train, prompt" paradigms have become increasingly common. In particular, prompting is a popular alternative to fine-tuning in natural language processing, which is designed to narrow the gap between pre-training and downstream objectives in a task-specific manner. However, existing study of prompting on graphs is still limited, lacking a universal treatment to appeal to different downstream tasks. In this paper, we propose GraphPrompt, a novel pre-training and prompting framework on graphs. GraphPrompt not only unifies pre-training and downstream tasks into a common task template, but also employs a learnable prompt to assist a downstream task in locating the most relevant knowledge from the pre-train model in a task-specific manner. Finally, we conduct extensive experiments on five public datasets to evaluate and analyze GraphPrompt.

研究动机与目标

• 通过提出一个统一框架，弥合图预训练与下游任务之间的差距。
• 利用子图相似性将预训练与下游任务统一，覆盖节点级与图级问题。
• 引入任务特定的可学习提示来引导 ReadOut，并实现任务自适应的知识迁移。
• 在多数据集的少样本学习情景中证明其有效性。

提出的方法

• 定义一个通用模板，将预训练和下游任务都表示为子图相似性学习。
• 使用上下文子图来表示节点级实例，使用最大子图表示图级实例。
• 使用基于上下文子图相似性的链接预测目标进行预训练。
• 引入一个可学习的提示向量来指导每个下游任务的 ReadOut 操作。
• 在下游提示阶段冻结 GNN，仅优化任务特定提示。
• 在损失中使用余弦相似度和温度参数进行评估。

实验结果

研究问题

• RQ1 一个统一的子图相似性模板是否能够同时支持图上的预训练和多个下游任务（节点分类和图分类）？
• RQ2 任务特定的可学习提示是否通过引导 ReadOut、在少样本设定下利用预训练知识来提升下游性能？
• RQ3 在少样本情形下，GraphPrompt 在不同数据集上的节点分类和图分类表现如何？

主要发现

• GraphPrompt 提供一个统一框架，其中预训练和下游任务共享一个通用的子图相似性模板。
• 一个可学习的提示引导 ReadOut 以适应不同的下游任务的聚合。
• 预训练使用基于上下文子图相似性的自监督链接预测目标。
• 下游学习使用提示调优，GNN 权重冻结，降低参数与数据需求。
• 在五个公开数据集上的实验表明，GraphPrompt 在少样本设置下相较基线在节点和图分类任务上具有更优性能。