[论文解读] GraphLLM: Boosting Graph Reasoning Ability of Large Language Model

Ziwei Chai, Tianjie Zhang+5 more|arXiv (Cornell University)|Oct 9, 2023

Topic Modeling被引用 5

一句话总结

GraphLLM 提出了一种端到端框架，将图神经网络与大型语言模型（LLMs）集成，显著提升了图推理能力。通过用紧凑的、固定长度的图嵌入前缀替代传统的 Graph2Text 转换，GraphLLM 在四项图推理任务中实现了平均 54.44% 的准确率提升和 96.45% 的上下文长度减少，同时将推理速度提升 3.42 倍。

ABSTRACT

The advancement of Large Language Models (LLMs) has remarkably pushed the boundaries towards artificial general intelligence (AGI), with their exceptional ability on understanding diverse types of information, including but not limited to images and audio. Despite this progress, a critical gap remains in empowering LLMs to proficiently understand and reason on graph data. Recent studies underscore LLMs' underwhelming performance on fundamental graph reasoning tasks. In this paper, we endeavor to unearth the obstacles that impede LLMs in graph reasoning, pinpointing the common practice of converting graphs into natural language descriptions (Graph2Text) as a fundamental bottleneck. To overcome this impediment, we introduce GraphLLM, a pioneering end-to-end approach that synergistically integrates graph learning models with LLMs. This synergy equips LLMs with the ability to proficiently interpret and reason on graph data, harnessing the superior expressive power of graph learning models. Our empirical evaluations across four fundamental graph reasoning tasks validate the effectiveness of GraphLLM. The results exhibit a substantial average accuracy enhancement of 54.44%, alongside a noteworthy context reduction of 96.45% across various graph reasoning tasks.

研究动机与目标

• 解决尽管 LLM 在其他模态中表现优异，但在基础图推理任务中表现不佳的问题。
• 识别 Graph2Text 转换是基于 LLM 的图推理中的关键瓶颈，原因在于上下文长度限制和结构模糊性。
• 开发一种端到端方法，协同结合 LLM 与图学习模型，以实现更优的图推理性能。
• 在保持或提升推理准确率的同时，减少上下文长度并提高推理效率。
• 在多样化的图推理基准上展示所提方法的有效性。

提出的方法

• GraphLLM 通过使用图变换器将输入图编码为固定长度的前缀嵌入，替代了传统的 Graph2Text 转换。
• 将前缀嵌入与指令提示拼接后输入 LLM 进行推理，绕过了冗长的文本描述。
• 该框架采用统一的端到端训练策略，联合优化图编码器与 LLM 以适应下游任务。
• 采用前缀微调和 LoRA 微调技术，利用紧凑的图表示将 LLM 适配到图推理任务。
• 图变换器在 LLM 推理前处理节点特征与边连接，生成具有表现力的结构化表示。
• 该方法支持零样本和少样本提示，上下文开销极低，可扩展至更大规模图。

Figure 1: Demonstration of Graph2Text vs. GraphLLM . The LLM is tasked with computing the minimum quantity of dark matter necessary to transition from the starting wormhole to the ending wormhole, given the connectivity graph and the textual descriptions of each node.

实验结果

研究问题

• RQ1 尽管 LLM 在其他领域表现出强大的泛化能力，为何在图推理任务中表现不佳？
• RQ2 Graph2Text 转换策略在多大程度上限制了 LLM 对图结构的推理能力？
• RQ3 能否通过图神经网络与 LLM 的端到端集成，显著提升图推理的准确率与效率？
• RQ4 随着图规模增大，GraphLLM 的上下文长度与推理速度相较于基于 Graph2Text 的基线方法有何差异？
• RQ5 当图规模超过标准 LLM 的上下文窗口时，该方法是否仍能保持高性能？

主要发现

• 与基于 Graph2Text 的基线相比，GraphLLM 在四项图推理任务中实现了平均 54.44% 的准确率提升。
• 与 Graph2Text 相比，该方法将平均上下文长度减少了 96.45%，上下文长度降至 0.04–0.055K 个 token。
• GraphLLM 在最多含 45 个节点的图上仍保持高性能，而基于 Graph2Text 的方法在超出上下文限制时失效或准确率降至 0%。
• 尽管增加了图编码器计算开销，GraphLLM 的推理速度相比性能最佳的基于 Graph2Text 的方法提升了 3.42 倍。
• 在 45 个节点的子结构计数任务中，GraphLLM 达到了 96.45% 的准确率，优于 gpt-3.5-turbo-16k，后者因上下文溢出而失败。
• GraphLLM 展现出强鲁棒性与可扩展性，在图规模超过标准 LLM 上下文窗口时仍保持高效。

Figure 2: An illustration of reasoning on a toy molecular graph with GraphLLM. The LLM is requested to identify the number of C-C-O triangles in the molecule.