[论文解读] KITLM: Domain-Specific Knowledge InTegration into Language Models for Question Answering

Ankush Agarwal, Sakharam Gawade+2 more|arXiv (Cornell University)|Aug 7, 2023

Topic Modeling被引用 4

一句话总结

KITLM 提出了一种知识注入框架，通过一种新颖的微调目标，将相关知识图谱三元组整合到基于 T5 的语言模型中，以增强特定领域的问答能力。通过在训练和推理过程中仅过滤并注入相关结构化知识，KITLM 在 MetaQA 和 AeroQA 上的精确匹配得分超过 GPT-3.5-turbo 和 SOTA 方法 1.5 倍以上，同时减少了模型大小和计算成本。

ABSTRACT

Large language models (LLMs) have demonstrated remarkable performance in a wide range of natural language tasks. However, as these models continue to grow in size, they face significant challenges in terms of computational costs. Additionally, LLMs often lack efficient domain-specific understanding, which is particularly crucial in specialized fields such as aviation and healthcare. To boost the domain-specific understanding, we propose, KITLM, a novel knowledge base integration approach into language model through relevant information infusion. By integrating pertinent knowledge, not only the performance of the language model is greatly enhanced, but the model size requirement is also significantly reduced while achieving comparable performance. Our proposed knowledge-infused model surpasses the performance of both GPT-3.5-turbo and the state-of-the-art knowledge infusion method, SKILL, achieving over 1.5 times improvement in exact match scores on the MetaQA. KITLM showed a similar performance boost in the aviation domain with AeroQA. The drastic performance improvement of KITLM over the existing methods can be attributed to the infusion of relevant knowledge while mitigating noise. In addition, we release two curated datasets to accelerate knowledge infusion research in specialized fields: a) AeroQA, a new benchmark dataset designed for multi-hop question-answering within the aviation domain, and b) Aviation Corpus, a dataset constructed from unstructured text extracted from the National Transportation Safety Board reports. Our research contributes to advancing the field of domain-specific language understanding and showcases the potential of knowledge infusion techniques in improving the performance of language models on question-answering.

研究动机与目标

• 解决大型语言模型（LLMs）在航空、医疗等专业领域中领域特定理解能力有限的问题。
• 克服持续预训练方法在知识注入中计算成本高且泛化能力差的缺陷。
• 开发一种轻量化、高效的无需架构修改的方法，以增强语言模型的结构化知识能力。
• 构建精选数据集，以支持特定领域知识注入和多跳问答研究。
• 证明较小的、注入知识的模型在特定领域问答任务中可超越大型 LLM。

提出的方法

• 提出一种知识整合目标，将知识图谱（KG）三元组转化为自然语言形式，并在训练和推理过程中注入。
• 使用 ColBERTv2 检索并过滤每个问答对中最相关的 KG 三元组，以最小化噪声。
• 通过结合自然语言问答对与注入的语义化 KG 三元组，对基于 T5 的模型进行微调。
• 消除持续预训练的需求，以避免灾难性遗忘并降低计算开销。
• 为 N 跳问答任务选择 N 个相关三元组，实现可扩展且高效的知识注入。
• 在推理时通过动态检索并注入相关三元组来集成知识，确保生成回答的上下文准确性。

Figure 1. The proposed framework, KITLM, is illustrated in the flow diagram. Initially, triples are extracted from knowledge bases like the WikiMovies dataset (Miller et al . , 2016 ) and transformed into verbalized form. Subsequently, ColBERTv2 (Santhanam et al . , 2022 ) is employed to retrieve th

实验结果

研究问题

• RQ1 与大型 LLM 相比，知识图谱注入是否能提升小型语言模型在特定领域问答中的性能？
• RQ2 所提出的知识注入方法在多跳问答任务中与 SKILL 和 GPT-3.5-turbo 等现有方法相比表现如何？
• RQ3 过滤相关 KG 三元组在多大程度上减少了噪声并提升了模型泛化能力？
• RQ4 轻量化、基于微调的方法是否能在效率和性能上超越持续预训练方法？
• RQ5 在航空等关键依赖领域特定知识的领域中，该知识注入方法的有效性如何？

主要发现

• KITLM 在 MetaQA 基准测试中，精确匹配得分超过 GPT-3.5-turbo 和 SOTA 方法 SKILL 的 1.5 倍以上。
• KITLM 在 AeroQA 数据集的 1 跳和多跳问题上均优于 GPT-3 和 ChatGPT，其中 GPT-3 在 1 跳 MetaQA 上的精确匹配仅为 18.73%。
• 该模型在 2 跳和 3 跳问答任务中保持高性能，通过知识注入展现出强大的推理能力。
• KITLM 通过消除持续预训练，改用高效的三元组过滤与推理时注入，显著降低了计算成本。
• 通过注入知识进行微调，使小型模型在特定领域问答中超越大型 LLM，凸显了知识注入的有效性。
• 发布的 AeroQA 数据集和航空领域语料库为推进航空领域多跳问答与知识注入研究提供了宝贵资源。