[论文解读] KnowledGPT: Enhancing Large Language Models with Retrieval and Storage Access on Knowledge Bases

Xintao Wang, Qianwen Yang+6 more|arXiv (Cornell University)|Aug 17, 2023

Topic Modeling被引用 13

一句话总结

KnowledGPT 将大语言模型（LLMs）与知识库连接起来，以检索和存储知识，使用推理过程引导提示和个性化知识库来提升复杂查询的效果。

ABSTRACT

Large language models (LLMs) have demonstrated impressive impact in the field of natural language processing, but they still struggle with several issues regarding, such as completeness, timeliness, faithfulness and adaptability. While recent efforts have focuses on connecting LLMs with external knowledge sources, the integration of knowledge bases (KBs) remains understudied and faces several challenges. In this paper, we introduce KnowledGPT, a comprehensive framework to bridge LLMs with various knowledge bases, facilitating both the retrieval and storage of knowledge. The retrieval process employs the program of thought prompting, which generates search language for KBs in code format with pre-defined functions for KB operations. Besides retrieval, KnowledGPT offers the capability to store knowledge in a personalized KB, catering to individual user demands. With extensive experiments, we show that by integrating LLMs with KBs, KnowledGPT properly answers a broader range of questions requiring world knowledge compared with vanilla LLMs, utilizing both knowledge existing in widely-known KBs and extracted into personalized KBs.

研究动机与目标

• 推动将大语言模型与外部知识源连接起来，以解决完整性、时效性、可信度和适应性问题。
• 引入一个统一框架，从知识库（KB）检索知识并将用户特定知识存储在个性化知识库（PKB）中。
• 通过代码生成的知识库操作实现多跳搜索和实体消歧。
• 在不重新训练LLMs的前提下，展示跨公共KB和PKB的KB集成的实际效用与有效性。

提出的方法

• 使用思考过程提示（程序性推理提示）生成驱动KB访问与操作的Python代码。
• 提供一个统一的KB访问接口，内置函数与KB特定函数用于 get_entity_info、find_entity_or_value 和 find_relationship。
• 实现一个实体链接模块，通过别名和相似性度量将自然语言提及映射到KB实体。
• 对每个KB并行执行生成的代码，并将结果拼接以回答用户查询。
• 引入一个个性化知识库（PKB），用于存储从用户文档中提取的实体描述、三元组和实体-方面信息。
• 以三种形式表示知识（实体描述、关系三元组和实体-方面信息），以丰富PKB的覆盖范围。

实验结果

研究问题

• RQ1 在复杂的多跳查询中，KnowledGPT 相较于基于标准嵌入或 BM25 的检索，在从知识库检索方面表现如何？
• RQ2 在跨越多样化的KB中，将自然语言提及与KB实体对齐时，实体链接与消歧过程有多有效？
• RQ3 个性化知识库是否提高了针对用户特定知识需求的答案质量和覆盖范围？
• RQ4 使用更丰富的PKB表示（描述和实体-方面信息）对知识提取和检索性能有什么影响？

主要发现

数据集	BM25	Embedding 相似度	SPE	KnowledGPT
NLPCC-100	0.71	0.31	0.85	0.92
NLPCC-MH-59	0.44	0.19	-	0.93

• KnowledGPT 在知识库上的基于知识的问题回答相对于原生LLM有提升，尤其是在多跳查询方面。
• GPT-4 在 KnowledGPT 中在代码生成和实体链接方面表现出色，在中间步骤上的成功率高于 ChatGPT。
• 在 NLPCC-100 与 NLPCC-MH-59KBQA 基准测试中，KnowledGPT 的表现优于 BM25 和基于嵌入的检索，在零-shot 设置中超过 SPE 方法。
• 具备实体描述和实体-方面信息的个性化KB 能扩展知识提取覆盖范围，超越仅限三元组，从而改进检索与答案质量。
• 案例研究显示 KnowledGPT 能正确串联检索步骤来回答如作者和标题等问题，展示了基于代码的有效多跳推理。