[论文解读] GraphGPT: Graph Instruction Tuning for Large Language Models

Jiabin Tang, Yuhao Yang+6 more|arXiv (Cornell University)|Oct 19, 2023

Advanced Graph Neural Networks被引用 15

一句话总结

GraphGPT 通过文本-图结构对齐方法和双阶段指令微调范式，将大语言模型与图结构对齐，在有监督和零样本图学习任务中实现强泛化。

ABSTRACT

Graph Neural Networks (GNNs) have evolved to understand graph structures through recursive exchanges and aggregations among nodes. To enhance robustness, self-supervised learning (SSL) has become a vital tool for data augmentation. Traditional methods often depend on fine-tuning with task-specific labels, limiting their effectiveness when labeled data is scarce. Our research tackles this by advancing graph model generalization in zero-shot learning environments. Inspired by the success of large language models (LLMs), we aim to create a graph-oriented LLM capable of exceptional generalization across various datasets and tasks without relying on downstream graph data. We introduce the GraphGPT framework, which integrates LLMs with graph structural knowledge through graph instruction tuning. This framework includes a text-graph grounding component to link textual and graph structures and a dual-stage instruction tuning approach with a lightweight graph-text alignment projector. These innovations allow LLMs to comprehend complex graph structures and enhance adaptability across diverse datasets and tasks. Our framework demonstrates superior generalization in both supervised and zero-shot graph learning tasks, surpassing existing benchmarks. The open-sourced model implementation of our GraphGPT is available at https://github.com/HKUDS/GraphGPT.

研究动机与目标

• 旨在提升在标注数据稀缺或不可用的零-shot 场景中图模型的泛化能力。
• 将图结构知识与语言模型衔接，以提升对图的推理能力。
• 开发双阶段指令微调框架，使大语言模型针对图任务进行定制，同时保持可扩展性。

提出的方法

• 引入文本-图对齐组件，将图结构编码与语言空间对齐。
• 使用图编码器（GNN 主干）和文本编码器，生成对齐的图和文本表示。
• 提出双阶段图指令微调：自监督图匹配以学习结构知识，然后进行下游图的任务特定指令微调。
• 加入一个轻量级的图-文本对齐投影器，将图令牌映射到语言令牌，同时不更新 LLM 或图编码器。
• 可选地应用来自强大 LLM（如 GPT-3.5）的连锁推理蒸馏，以在分布偏移下提升推理能力。

实验结果

研究问题

• RQ1 与基线相比，GraphGPT 在有监督和零样本图学习设置中的表现如何？
• RQ2 GraphGPT 在多种图任务上的泛化能力是否会在不发生灾难性遗忘的情况下保持？
• RQ3 核心组件（文本-图对齐、双阶段指令微调、CoT 蒸馏）如何提升性能和泛化能力？
• RQ4 GraphGPT 框架在跨数据集和任务上的可扩展性与效率如何？

主要发现

• GraphGPT 在所评估数据集上的有监督和零样本节点分类任务中，一直超越了最先进的基线。
• 自监督阶段的结构感知图匹配提升了零样本迁移能力。
• 连锁推理蒸馏在复杂任务上提升了性能，利用来自强大语言模型的知识。
• 使用两阶段指令微调搭配轻量级投影器，在不修改 LLM 的情况下实现图令牌与语言令牌的对齐。
• 包含更多样化的指令数据可提升跨数据集对未见图的迁移。