[论文解读] Augmented Large Language Models with Parametric Knowledge Guiding

Ziyang Luo, Can Xu+6 more|arXiv (Cornell University)|May 8, 2023

Topic Modeling被引用 7

一句话总结

本文提出参数化知识引导（PKG）框架，通过整合一个可训练的开源‘白盒’语言模型来生成相关背景知识，从而增强黑盒大语言模型（LLMs）在特定领域知识方面的能力。该方法在不修改原始LLM参数的前提下，提升了LLM在知识密集型任务上的表现——在表格问答任务上最高提升11.9%，同时确保隐私安全，并支持使用领域数据进行离线微调。

ABSTRACT

Large Language Models (LLMs) have significantly advanced natural language processing (NLP) with their impressive language understanding and generation capabilities. However, their performance may be suboptimal for domain-specific tasks that require specialized knowledge due to limited exposure to the related data. Additionally, the lack of transparency of most state-of-the-art (SOTA) LLMs, which can only be accessed via APIs, impedes further fine-tuning with domain custom data. Moreover, providing private data to the LLMs' owner leads to data privacy problems. To address these challenges, we propose the novel Parametric Knowledge Guiding (PKG) framework, which equips LLMs with a knowledge-guiding module to access relevant knowledge without altering the LLMs' parameters. Our PKG is based on open-source "white-box" language models, allowing offline memory of any knowledge that LLMs require. We demonstrate that our PKG framework can enhance the performance of "black-box" LLMs on a range of domain knowledge-intensive tasks that require factual (+7.9%), tabular (+11.9%), medical (+3.0%), and multimodal (+8.1%) knowledge.

研究动机与目标

• 解决黑盒LLM在特定领域任务中因缺乏专业知识和透明度而导致的局限性。
• 通过实现离线、无参数的领域知识集成，克服微调过程中的数据隐私问题。
• 提供一种在不改变原始模型权重的前提下提升LLM性能的解决方案，以保护模型完整性与安全性。
• 使用参数化、可微调的知识生成模块，替代基于检索的方法，实现有效的知识注入。
• 在多种知识密集型任务（包括事实性、表格、医疗和多模态推理）中验证该框架的有效性。

提出的方法

• 基于开源、可微调的大语言模型（如LLaMA-7B）引入一个参数化知识引导模块，作为‘白盒’知识源。
• 通过指令微调对PKG模块进行训练，使其与特定领域任务和知识类型对齐。
• 对于每个输入，PKG模块生成上下文相关的背景知识序列。
• 通过背景增强提示（background-augmented prompting）将生成的知识作为额外上下文注入目标黑盒LLM的输入提示中。
• 将知识访问与原始LLM解耦，实现离线、安全且可定制的知识注入。
• 采用模块化设计，使PKG模块可独立训练，随后用于引导任意外部LLM的推理。

Figure 1 : A brief introduction of our parametric knowledge guiding framework (PKG) for augmenting "black box" LLMs on domain-specific tasks.

实验结果

研究问题

• RQ1 一个参数化知识生成模块是否能在不修改权重的前提下提升黑盒LLM在特定领域任务上的表现？
• RQ2 PKG框架在事实性、表格、医疗和多模态知识密集型任务中提升LLM性能的效率如何？
• RQ3 使用微调过的开源‘白盒’模型进行知识生成，是否在复杂知识整合中优于基于检索的方法？
• RQ4 与传统的基于API的微调相比，PKG框架在微调过程中对数据隐私的保护程度如何？
• RQ5 PKG框架是否能在极少架构改动的情况下，泛化应用于多种知识类型和下游任务？

主要发现

• PKG框架在事实性知识任务（FM2）上的表现相比基线LLM提升了+7.9%。
• 在表格知识任务（NQ-Table）上，框架实现了+11.9%的性能提升，表明其在结构化知识任务上的强大表现。
• 在医疗问答任务（MedMC-QA）中，框架带来+3.0%的性能增益，表明其在专业领域中的有效性。
• 在多模态推理任务（ScienceQA）中，PKG框架将准确率提升了+8.1%，显示出跨模态的鲁棒性。
• 通过将知识访问与原始LLM解耦，该框架实现了安全的离线微调，有效缓解了数据隐私风险。
• 该方法通过利用更深层次、更集成的知识生成，而非浅层文档检索，优于基于检索的基线模型。

Figure 2 : The knowledge alignment example of the PKG module on the fact-checking task (FM2). The passage behind the "Response" is the background knowledge of the "Input".