[论文解读] A Survey of Graph Meets Large Language Model: Progress and Future Directions

Yuhan Li, Zhixun Li+5 more|arXiv (Cornell University)|Nov 21, 2023

Advanced Graph Neural Networks被引用 4

一句话总结

本综述提出了一种新颖的分类法，将大语言模型（LLM）与图结构的融合划分为三种角色：LLM作为增强器、预测器和对齐组件。系统性地回顾了代表性方法，识别出在效率、可解释性和表达能力方面的主要挑战，并提出了推动图学习与LLM结合的未来研究方向。

ABSTRACT

Graph plays a significant role in representing and analyzing complex relationships in real-world applications such as citation networks, social networks, and biological data. Recently, Large Language Models (LLMs), which have achieved tremendous success in various domains, have also been leveraged in graph-related tasks to surpass traditional Graph Neural Networks (GNNs) based methods and yield state-of-the-art performance. In this survey, we first present a comprehensive review and analysis of existing methods that integrate LLMs with graphs. First of all, we propose a new taxonomy, which organizes existing methods into three categories based on the role (i.e., enhancer, predictor, and alignment component) played by LLMs in graph-related tasks. Then we systematically survey the representative methods along the three categories of the taxonomy. Finally, we discuss the remaining limitations of existing studies and highlight promising avenues for future research. The relevant papers are summarized and will be consistently updated at: https://github.com/yhLeeee/Awesome-LLMs-in-Graph-tasks.

研究动机与目标

• 提供现有将大语言模型（LLMs）与图数据结合的方法的全面综述。
• 通过利用LLMs弥补传统图神经网络（GNNs）在捕捉语义和上下文节点特征方面的局限性。
• 提出一种基于LLMs在图任务中功能角色的新分类法——增强器、预测器和对齐组件。
• 识别LLM-图融合中的关键挑战，如效率、可解释性和表达能力。
• 突出显示有前景的未来研究方向，包括将LLMs重新构想为具备规划、记忆和工具使用能力的智能体。

提出的方法

• 提出一种新颖的三类分类法：LLM作为增强器（改进节点特征）、预测器（替代GNN头部）和对齐组件（统一多模态）。
• 在每个类别下回顾代表性方法，包括TAPE（LLM增强的节点嵌入）、InstructGLM（通过指令提示实现的LLM预测）和MoleculeSTM（跨模态对齐）。
• 分析提示工程、微调技术（如LoRA、前缀调优）以及图扁平化等技术，以适应LLMs处理图结构。
• 研究将GNN与LLM表示对齐于共享向量空间的方法，以提升推理能力和知识注入。
• 探索利用上下文学习和思维链提示技术，增强图任务中模型的可解释性和推理能力。
• 讨论提升效率的架构与训练策略，如用于大规模图推理的大规模参数高效微调。

实验结果

研究问题

• RQ1 如何基于LLMs在图相关任务中的功能角色对它们进行系统性分类？
• RQ2 哪些最有效的技术能够将LLMs与图神经网络结合，以实现超越传统GNNs的性能提升？
• RQ3 LLMs如何通过自然语言生成提升图推理任务中的可解释性？
• RQ4 在将LLMs应用于图数据时，效率、可扩展性和表达能力方面的主要局限是什么？
• RQ5 LLMs能否被重新构想为具备规划、记忆和工具使用能力的智能体，以解决复杂的图任务？

主要发现

• 与传统GNN相比，LLM融合显著提升了图任务的性能，尤其在需要丰富语义理解的场景中。
• TAPE和LLM4Mol等方法表明，LLM生成的语义描述可增强初始节点嵌入，从而提升下游任务的准确率。
• InstructGLM通过指令提示和图扁平化技术，用LLMs替代GNN预测头，实现了最先进性能，并支持零样本泛化。
• MoleculeSTM和G-Prompt等跨模态对齐技术表明，对齐LLM与GNN表示可提升分子图和知识图任务中的推理能力。
• LoRA和前缀调优等参数高效微调方法可降低计算成本，并实现LLMs对图数据的高效适应。
• 尽管已有进展，但效率挑战依然存在，尤其在大规模图上，这主要源于使用API接口的LLMs带来的高推理成本和硬件需求。