[论文解读] A Review on Language Models as Knowledge Bases

Badr AlKhamissi, Millicent Li+3 more|arXiv (Cornell University)|Apr 12, 2022

Topic Modeling被引用 63

一句话总结

这份综述分析了预训练语言模型如何隐式编码知识，并评估五个类似知识库的方面——访问、可编辑性、一致性、推理和可解释性——以确定语言模型如何能够作为知识库发挥作用。它综合了访问、更新、推理和解释LM派生知识的方法，并勾勒出未来挑战。

ABSTRACT

Recently, there has been a surge of interest in the NLP community on the use of pretrained Language Models (LMs) as Knowledge Bases (KBs). Researchers have shown that LMs trained on a sufficiently large (web) corpus will encode a significant amount of knowledge implicitly in its parameters. The resulting LM can be probed for different kinds of knowledge and thus acting as a KB. This has a major advantage over traditional KBs in that this method requires no human supervision. In this paper, we present a set of aspects that we deem a LM should have to fully act as a KB, and review the recent literature with respect to those aspects.

研究动机与目标

• 评估预训练语言模型作为知识库隐式编码知识的程度。
• 识别使LMs能够作为KBs运作所需的核心方面（访问、可编辑性、一致性、推理、可解释性）。
• 调查当前用于查询、更新和推理LM知识的方法及其局限性。
• 突出挑战并提出未来在LMs-as-KBs方面的研究方向。

提出的方法

• 定义并比较LMs和KBs，概述五个与KB相关的方面（访问、可编辑性、一致性、推理、可解释性）。
• 回顾关于探查与查询LMs的文献，包括微调和提示作为访问机制。
• 总结用于更新事实的模型编辑方法（微调、超网络、Rank-One editing）。
• 考察LMs的推理能力（符号化、数学、常识）及其局限性。
• 讨论可解释性与解释性分析方法（探查、注意力分析、因果追踪、影响函数）。

实验结果

研究问题

• RQ1 哪些方面对使LMs作为知识库运作是必不可少的（访问、可编辑性、一致性、推理、可解释性）？
• RQ2 当前方法如何实现对LM存储知识的访问，以及它们的局限性？
• RQ3 有哪些用于编辑或更新LMs中知识的方法，它们如何在其他地方保持稳定性？
• RQ4 LMs在多大程度上能够进行与传统KBs相当的推理，在哪些方面存在不足？
• RQ5 如何实现基于LM的知识检索和推理的可解释性与解释性？

主要发现

• LMs隐式编码着大量知识，但知识是分散的，且不易更新或控制。
• 有效访问LM知识仍然具有挑战性；提示和微调是突出的两种方法，但存在权衡。
• 模型编辑方法（例如知识编辑器、超网络、Rank-One editing）解决了局部更新，但面临可扩展性和一致性挑战。
• LMs在包括常识推理和符号推理在内的各种推理任务中显示出潜力，但在一致的多步推理和可验证的解释方面存在困难。
• 可解释性工具（探查、因果追踪、影响函数）为解释LM行为提供路径，但解释可能不一致，注意力信号并不总是可信。