[论文解读] Universal Prompt Tuning for Graph Neural Networks

Taoran Fang, Yunchao Zhang+3 more|arXiv (Cornell University)|Sep 30, 2022

Advanced Graph Neural Networks被引用 11

一句话总结

本文提出图提示特征（GPF），一种适用于预训练图神经网络的通用提示微调方法，直接在输入图的特征空间中操作，无需依赖特定任务的提示函数，即可在多种预训练策略下实现有效适应。GPF在全样本设置下平均优于微调1.4%，在少样本设置下优于微调3.2%，即使在专用提示方法的原生预训练策略下也表现更优，达到当前最优性能。

ABSTRACT

In recent years, prompt tuning has sparked a research surge in adapting pre-trained models. Unlike the unified pre-training strategy employed in the language field, the graph field exhibits diverse pre-training strategies, posing challenges in designing appropriate prompt-based tuning methods for graph neural networks. While some pioneering work has devised specialized prompting functions for models that employ edge prediction as their pre-training tasks, these methods are limited to specific pre-trained GNN models and lack broader applicability. In this paper, we introduce a universal prompt-based tuning method called Graph Prompt Feature (GPF) for pre-trained GNN models under any pre-training strategy. GPF operates on the input graph's feature space and can theoretically achieve an equivalent effect to any form of prompting function. Consequently, we no longer need to illustrate the prompting function corresponding to each pre-training strategy explicitly. Instead, we employ GPF to obtain the prompted graph for the downstream task in an adaptive manner. We provide rigorous derivations to demonstrate the universality of GPF and make guarantee of its effectiveness. The experimental results under various pre-training strategies indicate that our method performs better than fine-tuning, with an average improvement of about 1.4% in full-shot scenarios and about 3.2% in few-shot scenarios. Moreover, our method significantly outperforms existing specialized prompt-based tuning methods when applied to models utilizing the pre-training strategy they specialize in. These numerous advantages position our method as a compelling alternative to fine-tuning for downstream adaptations.

研究动机与目标

• 为解决图表示学习中预训练策略多样化导致的预训练GNN缺乏通用提示微调方法的问题。
• 克服现有基于提示的方法受限于特定预训练任务（如边预测或属性掩码）的局限性。
• 开发一种统一的、理论基础坚实的提示机制，能够在输入特征空间中模拟任意提示函数。
• 在低数据场景（少样本）下提升下游性能，缓解微调带来的灾难性遗忘问题。
• 提供一种即插即用的微调替代方案，在保持预训练模型泛化能力的同时适应下游任务。

提出的方法

• GPF引入可学习的提示嵌入，将其添加到输入节点特征中，从而在不修改模型参数的情况下，将输入图有效转化为‘提示化’版本。
• 该方法在输入特征空间中运行，使其可普遍适用于各种预训练目标（如边预测、属性掩码、对比学习等）。
• 提示微调被形式化为可微优化问题，提示嵌入端到端优化，而GNN主干网络保持冻结。
• 理论分析表明，GPF可实现与任何提示函数形式等效的效果，因此在不同预训练策略下均具有通用适用性。
• 该方法还包括一个GPF-plus变体，通过引入额外的可学习投影层进一步提升性能。
• 方法在下游任务上使用标准交叉熵损失进行训练，超参数根据数据集和预训练策略分别调优。

实验结果

研究问题

• RQ1 能否设计一种单一的提示微调方法，使其在多种图神经网络预训练策略中均适用？
• RQ2 在输入特征空间中进行提示微调，是否在全样本和少样本学习场景下均优于微调？
• RQ3 当应用于其原始设计的预训练模型时，通用提示方法是否仍能超越专用提示方法？
• RQ4 GPF在不同预训练目标（包括对比学习和自监督节点级任务）下的表现如何？
• RQ5 在低数据场景下，GPF在多大程度上缓解了灾难性遗忘问题？

主要发现

• 在所有预训练策略下，GPF在全样本场景中平均优于标准微调1.4%。
• 在少样本场景中，GPF平均优于微调3.2%，展现出在数据稀缺条件下的强大泛化能力。
• 在使用边预测、属性掩码或上下文预测预训练的模型上，GPF显著优于现有专用提示方法，即使这些方法应用于其原生预训练策略时亦然。
• 在PPI生物图分类基准上，GPF在Infomax预训练策略下达到77.02%的ROC-AUC，优于微调（71.29%）及其他微调基线方法。
• 在IMDB图分类任务中，GPF将准确率从微调的72.60%提升至73.40%（在GCC（E2E）预训练策略下），且在多次运行中均保持一致的性能增益。
• GPF-plus变体进一步提升了性能，在PPI上实现77.03%的ROC-AUC（Infomax预训练），优于比较中所有其他微调方法。