[论文解读] Infusing Knowledge into Large Language Models with Contextual Prompts

Kinshuk Vasisht, Balaji Ganesan+2 more|arXiv (Cornell University)|Mar 3, 2024

Topic Modeling被引用 4

一句话总结

本文提出一种通过从领域特定语料库生成上下文提示来向大语言模型（LLMs）注入知识的方法，而非依赖结构化知识图谱。通过在基于实体搜索检索到的相关上下文句子增强的输入提示上微调LLM，该方法实现了显著的性能提升——例如在TACRED上Hits@1达到0.827，在KELM-TEKGEN上达到0.805，证明即使在低资源或代表性不足的实体上，也能实现有效的知识注入。

ABSTRACT

Knowledge infusion is a promising method for enhancing Large Language Models for domain-specific NLP tasks rather than pre-training models over large data from scratch. These augmented LLMs typically depend on additional pre-training or knowledge prompts from an existing knowledge graph, which is impractical in many applications. In contrast, knowledge infusion directly from relevant documents is more generalisable and alleviates the need for structured knowledge graphs while also being useful for entities that are usually not found in any knowledge graph. With this motivation, we propose a simple yet generalisable approach for knowledge infusion by generating prompts from the context in the input text. Our experiments show the effectiveness of our approach which we evaluate by probing the fine-tuned LLMs.

研究动机与目标

• 解决在现实世界NLP应用中，为特定领域或低资源实体维护结构化知识图谱的不切实际问题。
• 克服现有知识注入技术依赖预存知识库或实体嵌入的局限性。
• 为知识图谱中代表性不足的实体（如罕见或领域特定的个体）提供有效的知识注入方法。
• 开发一种仅使用非结构化文本语料和微调即可实现可扩展、通用且高效的知识注入方法。
• 评估上下文长度和质量对下游知识密集型NLP任务（如关系预测和开放域问答）的影响。

提出的方法

• 基于输入提示中提及的实体，使用搜索索引从领域特定语料库中检索相关上下文句子。
• 通过将描述相关实体的检索句子添加到输入提示中，生成上下文提示。
• 在增强提示上微调预训练LLM（如Flan-T5），以从检索到的上下文中注入知识。
• 在有结构化知识图谱时，使用实体链接和消歧技术提高上下文检索的准确性。
• 将该方法扩展至其他模态（如表格数据和图结构），以增强其适用范围。
• 使用标准指标在知识密集型任务（如关系预测和开放域问答）上评估性能。

实验结果

研究问题

• RQ1 能否从非结构化领域语料中提取的上下文提示，在不依赖结构化知识图谱的情况下，有效向LLM注入知识？
• RQ2 检索到的上下文长度和质量如何影响知识注入LLM在下游任务上的性能？
• RQ3 所提出的方法是否优于使用事实三元组或软提示的现有知识注入技术？
• RQ4 该方法能否泛化到知识库中未包含的低资源或代表性不足的实体？
• RQ5 在法律文本等现实领域中，该方法在知识图谱稀疏或不完整的情况下是否依然有效？

主要发现

• 在使用上下文提示微调后，该方法在TACRED数据集上达到Hits@1为0.827，远超基础模型的0.050，表现显著提升。
• 在KELM-TEKGEN数据集上，使用上下文提示的模型Hits@1达到0.805，而仅微调的基础模型为0.056。
• 增加上下文长度可提升性能，当使用更长的上下文时，TACRED上的Hits@1从0.846提升至0.914，表明上下文质量有助于提升知识获取能力。
• 在TriviaQA问答任务中，使用上下文提示的方法实现了20.0%的精确匹配得分，优于基础模型（16.7%）和仅微调的模型（20.0%）。
• 在法律领域设置中，该方法将Hits@10从0.245提升至0.290，MRR从0.200提升至0.217，证明在低资源、知识稀疏环境中依然有效。
• 当知识图谱不完整或不可用时，该方法表现出强鲁棒性，对未出现在Wikidata等存储库中的实体也有效。