[论文解读] GPT4Graph: Can Large Language Models Understand Graph Structured Data ? An Empirical Evaluation and Benchmarking

Jiayan Guo, Lun Du+4 more|arXiv (Cornell University)|May 24, 2023

Topic Modeling被引用 14

一句话总结

本文构建了一个将大型语言模型（LLMs）与图结构数据结合的框架，提出了一个跨越十个任务的图理解基准，并显示与专门的图模型相比，LLMs在处理图数据方面能力有限但可提升。

ABSTRACT

Large language models~(LLM) like ChatGPT have become indispensable to artificial general intelligence~(AGI), demonstrating excellent performance in various natural language processing tasks. In the real world, graph data is ubiquitous and an essential part of AGI and prevails in domains like social network analysis, bioinformatics and recommender systems. The training corpus of large language models often includes some algorithmic components, which allows them to achieve certain effects on some graph data-related problems. However, there is still little research on their performance on a broader range of graph-structured data. In this study, we conduct an extensive investigation to assess the proficiency of LLMs in comprehending graph data, employing a diverse range of structural and semantic-related tasks. Our analysis encompasses 10 distinct tasks that evaluate the LLMs' capabilities in graph understanding. Through our study, we not only uncover the current limitations of language models in comprehending graph structures and performing associated reasoning tasks but also emphasize the necessity for further advancements and novel approaches to enhance their graph processing capabilities. Our findings contribute valuable insights towards bridging the gap between language models and graph understanding, paving the way for more effective graph mining and knowledge extraction.

研究动机与目标

• 激发并评估大型语言模型在图结构数据上理解与推理的能力。
• 提出一个将图转换为图描述语言（GDL）并使用提示技术以使 LLM 在图上进行推理的框架。
• 建立一个跨越十个与图相关任务的基准，涵盖结构与语义，以将 LLMs 与面向图的模型进行比较。

提出的方法

• 引入一个“带 LLM 的图理解”框架，将图转换为图描述语言（GDL），并使用提示处理器将图数据与查询交错。
• 探索手工提示和自提示策略以提高图理解能力，包括上下文摘要、格式解释和角色提示。
• 评估各种提示设计（包括 one-shot、zero-shot 以及 cot 变体）及输入顺序，以研究对性能的影响。
• 将该框架应用于结构任务（大小、度、边、直径、聚类、属性检索）和语义任务（KGQA、GQL 生成、节点/图分类）。
• 在实验中将 InstructGPT-3（text-davinci-003）作为主要语言模型，温度设置为 0.3。

实验结果

研究问题

• RQ1 当图被描述为图描述语言（GDL）时，LLMs 能否理解并对具有图结构的数据进行推理？
• RQ2 提示设计、角色提示、one-shot 与 zero-shot 以及输入顺序如何影响 LLM 在图任务上的表现？
• RQ3 LLMs 在图上在多大程度上能够执行仅结构的任务（例如直径、中心性）以及语义任务（KGQA、GQL 生成、节点/图分类）？
• RQ4 在一个共同的图任务基准上，LLMs 与专门的图模型相比如何？

主要发现

• 输入设计对 LLM 在图任务上的性能有显著影响。
• 角色提示通常能提升结构理解任务的性能。
• 示例在某些情况下有帮助，但也可能引入噪声，在某些图任务中，zero-shot 甚至可能优于富含示例的提示。
• 将外部知识放在图输入之前往往比放在之后获得更好的结果。
• 在某些语义任务上，使用图增强提示的 LLMs 能取得竞争性结果，但在大多数基准测试中，SOTA 图模型仍然优于它们。
• 自我增强（格式解释和邻域摘要）可以提升图和图分类任务。