[论文解读] Calibrating Factual Knowledge in Pretrained Language Models

Qingxiu Dong, Damai Dai+4 more|arXiv (Cornell University)|Oct 7, 2022

Topic Modeling被引用 4

一句话总结

该论文提出CaliNet，一种轻量级、任务无关的方法，可在不微调的情况下校准预训练语言模型（PLMs）中的事实知识。它通过对比知识评估（CKA）检测错误事实，并通过注入带有记忆槽的校准前馈网络进行纠正，从而在探测和问答任务中实现高准确率和良好的泛化能力。

ABSTRACT

Previous literature has proved that Pretrained Language Models (PLMs) can store factual knowledge. However, we find that facts stored in the PLMs are not always correct. It motivates us to explore a fundamental question: How do we calibrate factual knowledge in PLMs without re-training from scratch? In this work, we propose a simple and lightweight method CaliNet to achieve this goal. To be specific, we first detect whether PLMs can learn the right facts via a contrastive score between right and fake facts. If not, we then use a lightweight method to add and adapt new parameters to specific factual texts. Experiments on the knowledge probing task show the calibration effectiveness and efficiency. In addition, through closed-book question answering, we find that the calibrated PLM possesses knowledge generalization ability after fine-tuning. Beyond the calibration performance, we further investigate and visualize the knowledge calibration mechanism.

研究动机与目标

• 解决预训练语言模型（PLMs）中存储的错误事实知识影响知识密集型任务性能的问题。
• 开发一种无需从头开始微调即可检测并纠正PLMs中事实错误的方法。
• 确保校准后的知识能泛化到同一事实的不同表达形式。
• 探究神经元层面知识校准的内部机制。

提出的方法

• 提出对比知识评估（CKA），通过对比正确事实与多个错误事实的预测得分，在对比设置下评估PLMs。
• 使用完形填空式提示将事实三元组转换为自然语言输入以进行探测。
• 引入CaliNet，一种参数高效的校准方法，通过在PLMs的特定前馈网络（FFNs）中扩展校准记忆槽来存储和适配正确事实。
• 在不修改原始PLM权重的前提下，向FFN层注入新参数，通过微调实现知识校准。
• 利用改写后的自然语句作为校准信号，以利用PLMs的语义建模能力。
• 追踪模型预测的演变过程，分析校准在神经网络中的发生位置和方式。

实验结果

研究问题

• RQ1 如何可靠地评估PLMs中事实知识的正确性，特别是在传统基于排名的度量失效时？
• RQ2 能否通过一种轻量级、参数高效的校准方法，在不重新训练的情况下纠正PLMs中的事实错误？
• RQ3 通过CaliNet进行的知识校准是否能泛化到同一事实的未见表达形式？
• RQ4 知识校准的内部机制是什么？校准记忆槽在其中起到何种作用？

主要发现

• CKA显示，在T-REx数据集中采样的近50%的事实在PLMs中存储错误，凸显了事实错误的普遍性。
• 在真实人类标注的测试数据上，CaliNet将假阳性率降低了35.61%，证明了其强大的校准效果。
• 校准后的PLM在闭卷问答任务中表现出色，优于原始模型在下游知识密集型任务上的表现。
• 校准记忆槽被发现对特定事实错误具有活性和选择性，表明实现了针对性的知识适配。
• 该方法在非目标事实上保持了原始模型的行为，表现出最小的灾难性遗忘。
• 预测演变的可视化结果证实，校准主要发生在存储事实知识的FFN层中。