[论文解读] MultiGPrompt for Multi-Task Pre-Training and Prompting on Graphs

Xingtong Yu, Chang Zhou+2 more|arXiv (Cornell University)|Nov 28, 2023

Advanced Graph Neural Networks被引用 4

一句话总结

本文提出 MultiGPrompt，一种用于图神经网络的多任务预训练与提示框架，通过专用的提示标记和结合组合提示与开放提示的双提示机制，协同整合多种掩码任务。该方法通过有效将多任务预训练中获得的多样化、全面的知识迁移至下游任务，在六个公开基准上实现了少样本图学习的最先进性能。

ABSTRACT

Graphs can inherently model interconnected objects on the Web, thereby facilitating a series of Web applications, such as web analyzing and content recommendation. Recently, Graph Neural Networks (GNNs) have emerged as a mainstream technique for graph representation learning. However, their efficacy within an end-to-end supervised framework is significantly tied to the availabilityof task-specific labels. To mitigate labeling costs and enhance robustness in few-shot settings, pre-training on self-supervised tasks has emerged as a promising method, while prompting has been proposed to further narrow the objective gap between pretext and downstream tasks. Although there has been some initial exploration of prompt-based learning on graphs, they primarily leverage a single pretext task, resulting in a limited subset of general knowledge that could be learned from the pre-training data. Hence, in this paper, we propose MultiGPrompt, a novel multi-task pre-training and prompting framework to exploit multiple pretext tasks for more comprehensive pre-trained knowledge. First, in pre-training, we design a set of pretext tokens to synergize multiple pretext tasks. Second, we propose a dual-prompt mechanism consisting of composed and open prompts to leverage task-specific and global pre-training knowledge, to guide downstream tasks in few-shot settings. Finally, we conduct extensive experiments on six public datasets to evaluate and analyze MultiGPrompt.

研究动机与目标

• 为解决图表示学习中单掩码任务预训练的局限性，该局限性限制了可泛化知识的广度。
• 开发一种方法，以协同方式利用多种多样化的掩码任务（如节点/边特征重建、链接预测和子图级模式学习）进行预训练。
• 设计一种双提示机制，结合任务特定的组合提示与捕捉所有掩码任务间全局知识的开放提示，以提升少样本适应能力。
• 在低资源（少样本）下游图学习场景中提升参数效率与鲁棒性。

提出的方法

• 引入一组可学习的掩码标记，与多个自监督掩码任务联合优化，实现在图上的协同多任务预训练。
• 采用双提示机制：针对特定下游任务设计的组合提示，以及捕捉所有掩码任务间全局、跨任务知识的开放提示。
• 使用可学习的注意力机制，通过可学习权重 α 动态平衡不同掩码标记和提示在消息传递层中的影响。
• 应用多任务对比学习目标，在预训练过程中联合优化多个掩码任务（如节点特征重建、链接预测、子图掩码等）。
• 设计一种轻量级的基于提示的微调策略，仅微调提示参数，保留预训练 GNN 的权重。
• 采用具有消息传递层的图编码器，其中输入和输出表示均通过双提示机制引导，以对齐下游目标。

实验结果

研究问题

• RQ1 与单任务预训练相比，使用多样化掩码任务的多任务预训练是否能显著提升图神经网络的泛化能力？
• RQ2 在基于提示的少样本图学习框架中，如何有效结合任务特定知识与全局跨任务知识？
• RQ3 双提示机制（组合提示 + 开放提示）在低资源设置下，与单提示或无提示基线相比，性能提升程度如何？
• RQ4 控制各层中提示权重的超参数如何影响不同类型下游任务的性能？

主要发现

• MultiGPrompt 在六个公开图数据集上的节点分类与图分类任务中均达到最先进性能，在少样本设置下优于现有最先进方法。
• 双提示机制（组合提示与开放提示结合）带来最高性能，消融实验表明，若移除任一组件，准确率均会下降。
• 开放提示组件对于传递全局、跨任务知识至关重要，其缺失会导致性能显著下降，相较于完整双提示设置。
• 超参数分析表明，节点分类与图分类任务的最优 α 值存在差异，表明输入层（α₀）与输出层（α₁）的提示权重应根据任务类型进行特定调优。
• MultiGPrompt 保持了高参数效率，在下游微调阶段仅有 522 个可调参数，显著少于全量微调或标准分类器微调方法。
• 该方法在少样本场景中表现出鲁棒性，当标注数据有限时，能通过双提示机制有效迁移多任务预训练的知识。