[论文解读] Enriching a Model's Notion of Belief using a Persistent Memory

Nora Kassner, Oyvind Tafjord+2 more|arXiv (Cornell University)|Apr 16, 2021

Topic Modeling参考文献 31被引用 6

一句话总结

本文提出通过为预训练语言模型（PTLMs）添加一个持久的信念库（BeliefBank）记忆，以提升事实推理中的全局一致性和准确性。通过使用加权SAT求解器来解决冲突信念，并采用反馈机制，利用已知信念作为上下文重新查询模型，该系统在受控的、基于约束的设置中显著提升了一致性和准确性。

ABSTRACT

Although pretrained language models (PTLMs) have been shown to contain significant amounts of world knowledge, they can still produce inconsistent answers to questions when probed, even after using specialized training techniques to reduce inconsistency. As a result, it can be hard to identify what the model actually "believes" about the world. Our goal is to reduce this problem, so systems are more globally consistent and accurate in their answers. Our approach is to add a memory component -- a BeliefBank -- that records a model's answers, and two mechanisms that use it to improve consistency among beliefs. First, a reasoning component -- a weighted SAT solver -- improves consistency by flipping answers that significantly clash with others. Second, a feedback component re-queries the model but using known beliefs as context. We show that, in a controlled experimental setting, these two mechanisms improve both accuracy and consistency. This is significant as it is a first step towards endowing models with an evolving memory, allowing them to construct a more coherent picture of the world.

研究动机与目标

• 解决预训练语言模型在事实回答中的一致性问题，该问题阻碍了可靠信念归因。
• 开发一种系统，从噪声较大的PTLM输出中构建全局一致的心理模型，而无需重新训练模型。
• 探索持久记忆与推理机制是否能提升事实问答中的一致性和准确性。
• 创建一个受控数据集，用于在逻辑约束下测量和评估模型的一致性。
• 通过整合记忆与推理，为具备持续演进、一致信念的系统奠定基础。

提出的方法

• 为PTLM增强一个持久的BeliefBank，用于存储对事实问题的原始答案。
• 使用加权SAT求解器，通过翻转违反逻辑约束的不一致答案，检测并解决信念冲突。
• 实施一种反馈机制，利用已知信念作为上下文重新查询模型，以提升答案质量。
• 将一致性问题形式化为加权可满足性（WSAT）任务，其中约束定义了事实之间的逻辑关系。
• 自动校准模型与约束权重，以平衡置信度与一致性。
• 在包含简短事实陈述和显式逻辑约束（例如，'X是鸟类 → X有翅膀'）的受控环境中应用该系统。

实验结果

研究问题

• RQ1 持久的记忆层是否能在不重新训练的情况下提升PTLM在事实推理中的一致性和准确性？
• RQ2 加权SAT求解器在解决模型提供的信念之间的冲突方面有多有效？
• RQ3 利用已知信念作为上下文重新查询模型，在多大程度上能提升答案质量？
• RQ4 约束的表述方式与权重校准如何影响系统性能？
• RQ5 一个简单的基于记忆的系统能否从噪声较大的PTLM输出中近似构建出对世界的连贯心理模型？

主要发现

• BeliefBank系统在具有逻辑约束的受控实验环境中，显著提升了事实推理的一致性和准确性。
• 加权SAT求解器通过翻转违反逻辑约束的答案，有效解决了信念冲突。
• 反馈机制通过利用相关信念作为上下文重新查询模型，提升了答案质量，尤其减少了假阳性结果。
• 推理与反馈两种机制对系统性能的提升具有独立贡献。
• 该系统表明，持久的记忆层有助于从PTLM输出中构建更连贯、全局一致的事实表征。
• 在 https://allenai.org/data/beliefbank 发布的数据集，使得一致性与信念连贯性的可复现评估成为可能。