[论文解读] Graph Neural Prompting with Large Language Models

Yijun Tian, Huan Song+6 more|arXiv (Cornell University)|Sep 27, 2023

Topic ModelingComputer Science被引用 3

一句话总结

本文提出图神经提示（Graph Neural Prompting, GNP），一种即插即用的方法，通过图神经网络（GNNs）、跨模态池化、领域投影和自监督链接预测，从知识图谱（KGs）中提取并注入结构化知识，以增强冻结或微调的大规模语言模型（LLMs），无需更新LLM参数。GNP在常识推理和生物医学推理任务上，将零样本和微调后LLM的性能提升最高达+13.5%。

ABSTRACT

Large language models (LLMs) have shown remarkable generalization capability with exceptional performance in various language modeling tasks. However, they still exhibit inherent limitations in precisely capturing and returning grounded knowledge. While existing work has explored utilizing knowledge graphs (KGs) to enhance language modeling via joint training and customized model architectures, applying this to LLMs is problematic owing to their large number of parameters and high computational cost. Therefore, how to enhance pre-trained LLMs using grounded knowledge, e.g., retrieval-augmented generation, remains an open question. In this work, we propose Graph Neural Prompting (GNP), a novel plug-and-play method to assist pre-trained LLMs in learning beneficial knowledge from KGs. GNP encompasses various designs, including a standard graph neural network encoder, a cross-modality pooling module, a domain projector, and a self-supervised link prediction objective. Extensive experiments on multiple datasets demonstrate the superiority of GNP on both commonsense and biomedical reasoning tasks across different LLM sizes and settings. Code is available at https://github.com/meettyj/GNP.

研究动机与目标

• 解决大规模语言模型（LLMs）在准确检索和利用基于事实的知识方面的固有局限性。
• 使预训练LLMs能够在无需完整微调或定制架构设计的情况下受益于知识图谱（KGs）。
• 开发一种即插即用的框架，通过可学习提示高效地将结构化知识从KG注入LLMs。
• 探索自监督图学习，以提升KG中实体和关系的理解，从而增强下游推理任务的性能。

提出的方法

• 图神经网络（GNN）编码器处理知识图谱，生成捕捉关系结构的节点级嵌入。
• 跨模态池化模块基于输入文本识别并聚合最相关的KG节点嵌入，生成整体的图级提示嵌入。
• 领域投影器将图嵌入的分布与文本空间对齐，弥合KG与LLMs之间的模态差异。
• 使用自监督链接预测目标对GNP模块进行预训练，增强模型学习有意义实体关系的能力。
• 最终的图神经提示作为上下文感知、知识 grounded 的指令注入LLM，适用于冻结或LoRA微调设置。
• 该方法设计为即插即用，无需修改LLM的架构或参数。

实验结果

研究问题

• RQ1 即插即用的方法能否有效从知识图谱中提取并注入知识到预训练大规模语言模型中？
• RQ2 图神经提示如何提升在推理任务上的零样本和参数高效微调性能？
• RQ3 GNN深度和跨模态池化层对不同LLM规模和数据集上的模型性能有何影响？
• RQ4 自监督链接预测目标如何增强模型学习相关KG结构的能力？

主要发现

• GNP在六个基准数据集的常识推理和生物医学推理任务中，平均提升冻结LLM性能+13.5%。
• 在LoRA微调设置下，GNP相比无知识注入的基线微调，性能提升+1.8%。
• 在12次评估中的10次，GNP达到与全量微调相当或更优的结果，展现出强大的参数效率。
• 最优GNN层数因数据集和LLM规模而异，3层GNN在OBQA数据集上对3B模型最优，5层GNN在PubMedQA数据集上对11B模型最优。
• 跨模态池化深度的影响具有数据集和模型规模依赖性：在OBQA上，11B LLM的深层池化有助于性能提升，但在BioASQ上反而降低性能，表明对架构选择敏感。
• 案例研究显示，GNP能够检索出结构上相关的子图，包含关键实体和关系，即使原始KG中存在噪声或无关信息，也能实现正确推理。