[论文解读] Facts as Experts: Adaptable and Interpretable Neural Memory over Symbolic Knowledge

Pat Verga, Haitian Sun+2 more|arXiv (Cornell University)|Jul 2, 2020

Topic Modeling参考文献 37被引用 27

一句话总结

该论文提出了事实专家（FaE），一种将符号知识记忆与神经表征相结合的神经语言模型，以实现可解释性、可适应性和可更新的事实推理。通过在不重新训练模型的情况下实现实时注入和修改事实，FaE在知识密集型问答任务中实现了9.3%的性能提升，当在推理时注入新事实时，其准确率和可解释性均优于标准模型。

ABSTRACT

Massive language models are the core of modern NLP modeling and have been shown to encode impressive amounts of commonsense and factual information. However, that knowledge exists only within the latent parameters of the model, inaccessible to inspection and interpretation, and even worse, factual information memorized from the training corpora is likely to become stale as the world changes. Knowledge stored as parameters will also inevitably exhibit all of the biases inherent in the source materials. To address these problems, we develop a neural language model that includes an explicit interface between symbolically interpretable factual information and subsymbolic neural knowledge. We show that this model dramatically improves performance on two knowledge-intensive question-answering tasks. More interestingly, the model can be updated without re-training by manipulating its symbolic representations. In particular this model allows us to add new facts and overwrite existing ones in ways that are not possible for earlier models.

研究动机与目标

• 解决存储在神经语言模型参数中的事实知识的不透明性和僵化性。
• 在不重新训练模型的情况下，实现实时、非参数化的事实知识更新。
• 通过将符号事实与学习参数解耦，提升可解释性并减少偏差。
• 使模型能够推理原始预训练数据中不存在的新事实或更正后事实。
• 证明事实知识可在推理时动态修改，以反映现实世界的变化。

提出的方法

• 将符号化的、非参数化的事实记忆（例如三元组形式，如（实体，关系，实体））集成到预训练语言模型中。
• 在推理过程中，使用可微注意力机制从符号记忆中检索相关事实。
• 将检索到的符号事实与Transformer编码器生成的上下文嵌入相结合，生成预测结果。
• 允许用户在推理时注入或覆盖记忆中的事实，而无需修改模型权重。
• 在过滤后的训练数据上微调模型版本，以避免数据泄露并评估泛化能力。
• 在微调过程中应用早停策略，以在测试修改后的知识时保持泛化能力。

实验结果

研究问题

• RQ1 神经语言模型是否能在不重新训练的情况下，有效集成并推理在推理时新注入的符号事实？
• RQ2 当新事实覆盖原始预训练知识时，模型在多大程度上能够适应矛盾事实？
• RQ3 当事实知识更新以反映现实世界变化时，性能会如何退化？模型是否仍能保持泛化能力？
• RQ4 与标准微调方法相比，符号记忆注入是否能进一步提升事实问答性能？
• RQ5 当模型仅依赖隐式知识与显式符号事实相比，其性能表现如何？

主要发现

• 在推理时注入新事实后，FaE在FreebaseQA上的性能相比过滤设置实现了9.3%的绝对提升。
• 在WebQuestionsSP上，FaE在注入新事实时相比过滤基线实现了6.9%的性能提升，表现出强大的泛化能力。
• 在注入预训练期间未见过的事实时，FaE在FreebaseQA上仍保持了48.0%的F1分数，优于仅依赖参数化知识的模型。
• 当将原始答案替换为合理替代答案时，FaE正确回答了30%的修改后问题，显示出对矛盾知识的部分鲁棒性。
• 模型成功在推理时用新事实覆盖了原始事实，证明了无需重新训练即可实现动态适应。
• 在注入事实的设置下，FaE优于缺乏新知识整合机制的基线模型EaE。