[论文解读] Knowledge Card: Filling LLMs' Knowledge Gaps with Plug-in Specialized Language Models

Shangbin Feng, Weijia Shi+4 more|arXiv (Cornell University)|May 17, 2023

Topic Modeling被引用 4

一句话总结

Knowledge Card 提出了一种模块化框架，通过插件式专用语言模型（称为“知识卡片”）动态注入最新、领域特定的知识到黑箱大语言模型（LLM）中。通过使用三个内容选择器（相关性、简洁性、事实性）以及两种集成策略（自底向上和自顶向下），该方法实现了最先进性能，在 MMLU 上比 Codex 提升 6.6%，并优于更大的模型如 Flan-PaLM。

ABSTRACT

By design, large language models (LLMs) are static general-purpose models, expensive to retrain or update frequently. As they are increasingly adopted for knowledge-intensive tasks, it becomes evident that these design choices lead to failures to generate factual, relevant, and up-to-date knowledge. To this end, we propose Knowledge Card, a modular framework to plug in new factual and relevant knowledge into general-purpose LLMs. We first introduce knowledge cards -- specialized language models trained on corpora from specific domains and sources. Knowledge cards serve as parametric repositories that are selected at inference time to generate background knowledge for the base LLM. We then propose three content selectors to dynamically select and retain information in documents generated by knowledge cards, specifically controlling for relevance, brevity, and factuality of outputs. Finally, we propose two complementary integration approaches to augment the base LLM with the (relevant, factual) knowledge curated from the specialized LMs. Through extensive experiments, we demonstrate that Knowledge Card achieves state-of-the-art performance on six benchmark datasets. Ultimately, Knowledge Card framework enables dynamic synthesis and updates of knowledge from diverse domains. Its modularity will ensure that relevant knowledge can be continuously updated through the collective efforts of the research community.

研究动机与目标

• 解决静态通用 LLM 在生成事实性、最新且领域特定知识方面的局限性。
• 在不微调基础 LLM 的前提下，实现来自多样化专用来源的模块化与协作式知识整合。
• 通过社区驱动的领域专用语言模型贡献，支持持续的知识更新。
• 克服 LLM 的静态特性，并减少知识密集型任务中的幻觉现象。

提出的方法

• 知识卡片是针对特定领域语料微调的专用语言模型，用作参数化、模块化的知识存储库。
• 应用三个内容选择器——相关性、剪枝（简洁性）和事实性——以过滤并优化知识卡片输出的知识。
• 自底向上方法将所有知识卡片的生成文档进行过滤并拼接至查询后，再进行 LLM 推理。
• 自顶向下方法由基础 LLM 判断是否需要外部知识，然后根据查询上下文动态选择并激活相关知识卡片。
• 支持两种集成模式：通过 LLM 推理实现的自动选择，或用户显式指定的知识源选择。
• 该框架支持即插即用的更新机制，并支持领域专家与研究人员的协作式知识贡献。

Figure 1: Overview of Knowledge Card . We train knowledge cards on various knowledge domains and employ three knowledge selectors for quality control. We propose bottom-up and top-down to integrate general-purpose LLMs with modular and specialized LMs to enable multi-domain knowledge synthesis ( bot

实验结果

研究问题

• RQ1 专用领域语言模型是否能在不微调的前提下，有效填补通用 LLM 的事实性知识空白？
• RQ2 在推理过程中，如何动态控制外部知识的相关性、简洁性与事实性？
• RQ3 模块化知识注入是否能在知识密集型任务中超越检索增强与生成提示的基线方法？
• RQ4 该框架如何支持 LLM 知识的持续、社区驱动更新？
• RQ5 动态选择性知识检索对幻觉与事实一致性有何影响？

主要发现

• 与基础 Codex 模型相比，Knowledge Card 在 MMLU 基准测试中性能提升 6.6%，甚至优于更大的模型如 Flan-PaLM。
• 在错误信息分类任务中，Knowledge Card 在双向分类中至少比基线高出 15.8% 的平衡准确率，在四向分类中高出 10.0%。
• 采用自动选择的自顶向下方法在知识源选择中表现出高精度，YAGO 和 Wikipedia 在 57 个 MMLU 子任务中被最频繁选中。
• 不同知识卡片的事实性得分存在差异，分布显示某些领域（如生物医学）的输出更可靠。
• 自底向上方法支持多领域知识融合，但当外部知识非必要时，存在注入无关信息的风险。
• 大量消融实验表明，三个内容选择器（相关性、剪枝、事实性）均显著提升输出质量，其中事实性影响最大。

Figure 2: Performance on misinformation detection when each knowledge card is separately added. Knowledge Card enables modular patching of LLMs while in-domain knowledge cards help the most.