[论文解读] Language is All a Graph Needs

Ruosong Ye, Caiqi Zhang+3 more|arXiv (Cornell University)|Aug 14, 2023

Topic Modeling被引用 5

一句话总结

本文提出 InstructGLM，一种图学习框架，通过自然语言指令描述多尺度图结构，并微调大语言模型（LLMs）以执行图学习任务。该方法在 ogbn-arxiv、Cora 和 PubMed 数据集上取得最先进性能，超越所有 GNN 和图 Transformer 基线模型，证明 LLMs 可作为图机器学习的可行基础模型。

ABSTRACT

The emergence of large-scale pre-trained language models has revolutionized various AI research domains. Transformers-based Large Language Models (LLMs) have gradually replaced CNNs and RNNs to unify fields of computer vision and natural language processing. Compared with independent data samples such as images, videos or texts, graphs usually contain rich structural and relational information. Meanwhile, language, especially natural language, being one of the most expressive mediums, excels in describing complex structures. However, existing work on incorporating graph problems into the generative language modeling framework remains very limited. Considering the rising prominence of LLMs, it becomes essential to explore whether LLMs can also replace GNNs as the foundation model for graphs. In this paper, we propose InstructGLM (Instruction-finetuned Graph Language Model) with highly scalable prompts based on natural language instructions. We use natural language to describe multi-scale geometric structure of the graph and then instruction finetune an LLM to perform graph tasks, which enables Generative Graph Learning. Our method surpasses all GNN baselines on ogbn-arxiv, Cora and PubMed datasets, underscoring its effectiveness and sheds light on generative LLMs as new foundation model for graph machine learning. Our code is open-sourced at https://github.com/agiresearch/InstructGLM.

研究动机与目标

• 探索大语言模型（LLMs）是否可作为图机器学习的基础模型，替代图神经网络（GNNs）。
• 通过使用自然语言描述图结构，解决 LLMs 在图学习中整合有限的问题。
• 开发一种可扩展、统一且数据高效的框架，用于图学习任务，基于指令微调的 LLMs。
• 通过在描述图拓扑和节点特征的自然语言指令上训练 LLMs，实现生成式图学习。
• 证明 LLMs 在低数据场景下，尤其在标注节点极少时，可超越 GNNs 和图 Transformer。

提出的方法

• 使用自然语言构建高度可扩展的多跳图结构提示，以描述不同距离下的节点邻域。
• 通过多任务、多提示框架对预训练 LLM（如 Flan-T5、Llama）进行指令微调，以执行图分类和节点分类任务。
• 将图结构表示为描述性自然语言句子，例如“节点 A 与 B、C 和 D 相连；B 与 E 和 F 相连。”
• 采用采样策略，将多跳邻居描述控制在 LLM 输入标记长度限制内，尤其适用于大规模图。
• 应用统一的生成式流程，将所有图学习任务视为文本生成问题，实现零样本和少样本泛化。
• 利用 LLMs 的上下文学习和少样本能力，在极小标注数据下提升性能。

实验结果

研究问题

• RQ1 大语言模型（LLMs）能否有效从图结构的自然语言描述中学习并泛化？
• RQ2 指令微调后的 LLMs 是否能在标准图基准数据集上超越传统 GNNs 和图 Transformer？
• RQ3 LLM-based 图学习在有限标注数据下的性能表现如何，特别是在低数据场景下？
• RQ4 基于自然语言描述的统一提示框架能否在无需架构修改的情况下处理多样化的图学习任务？
• RQ5 由于输入标记长度限制，LLMs 在处理大规模图时存在哪些局限性，以及如何缓解？

主要发现

• 在 PubMed 数据集上，仅使用 60 个训练节点（标签比例 0.3%）时，InstructGLM 的测试准确率达到 89.6%，比最佳 GNN 基线（SAIL）高出 5.8%。
• 在 PubMed 数据集上，使用 Flan-T5-large 的 InstructGLM 在 60 个训练节点下，比最佳图 Transformer（SGFormer）高出 9.3%。
• InstructGLM 在 ogbn-arxiv、Cora 和 PubMed 上均取得最先进性能，超越所有单模型 GNN 和图 Transformer 基线。
• 该方法展现出强大的数据效率，在极低标签比例（如 PubMed 上的 0.3%）下仍能保持高性能。
• 在低数据设置下，指令微调的 LLMs（如 Flan-T5-large 和 Llama-7b）相比 GNNs 展现出更优的泛化能力和少样本学习能力。
• 通过多提示、多任务指令微调，验证了框架的可扩展性，实现了在多样化图学习任务上的稳定性能。