[论文解读] Mitigating Knowledge Conflicts in Language Model-Driven Question Answering

Han Cao, Zhaoyang Zhang+4 more|arXiv (Cornell University)|Nov 18, 2024

Topic Modeling被引用 4

一句话总结

本文提出使用瓶颈适配器和前缀适配器的提示调优方法，通过减少对记忆化参数知识的过度依赖，缓解语言模型驱动问答中的幻觉问题。该方法成功覆盖了错误的记忆化知识，在KMIR测试集上达到92.9%的准确率，在NQ上达到64.8%的准确率，实现了在不损失性能的前提下对输入上下文更高的忠实度。

ABSTRACT

In the context of knowledge-driven seq-to-seq generation tasks, such as document-based question answering and document summarization systems, two fundamental knowledge sources play crucial roles: the inherent knowledge embedded within model parameters and the external knowledge obtained through context. Recent studies revealed a significant challenge: when there exists a misalignment between the model's inherent knowledge and the ground truth answers in training data, the system may exhibit problematic behaviors during inference, such as ignoring input context, or generating unfaithful content. Our investigation proposes a strategy to minimize hallucination by building explicit connection between source inputs and generated outputs. We specifically target a common hallucination pattern in question answering, examining how the correspondence between entities and their contexts during model training influences the system's performance at inference time.

研究动机与目标

• 解决因过度依赖参数化知识而导致的语言模型驱动问答中的事实性幻觉问题。
• 缓解模型忽略输入上下文、转而基于记忆化事实生成答案的实体相关知识冲突问题。
• 开发在上下文信息不足时约束模型行为的训练方案，提升对输入的忠实度。
• 评估结合适配器的提示调优是否能在不损失性能的前提下覆盖记忆化知识。
• 证明输入上下文与生成输出之间的显式关联可减少幻觉现象。

提出的方法

• 提出两种正交的提示调优方法：瓶颈适配器和前缀调优适配器，以控制模型行为。
• 在微调过程中，使用打乱的、上下文正确的答案作为新目标，以覆盖记忆化的错误答案。
• 在推理阶段采用基于梯度的解码方法，以促进注意力聚焦于输入上下文。
• 采用基于适配器的微调方法，显式对齐生成答案与输入上下文，最小化对参数化知识的依赖。
• 在包含替换答案的数据集上训练模型，以测试其能否被引导生成正确且上下文相关的输出。
• 通过原始和修改后样本的精确匹配准确率评估性能，以衡量模型对输入变化的关注程度。

实验结果

研究问题

• RQ1 提示调优方法能否覆盖语言模型中的记忆化参数知识，从而减少幻觉？
• RQ2 瓶颈适配器和前缀适配器在多大程度上能提升模型在问答任务中对输入上下文的忠实度？
• RQ3 输入上下文与生成输出之间的显式关联是否能减少基于实体的知识冲突？
• RQ4 当正确答案被替换为上下文正确的答案时，模型性能如何变化？
• RQ5 能否训练模型持续生成基于输入上下文而非记忆化事实的答案？

主要发现

• 瓶颈适配器在KMIR测试集上达到92.9%的准确率，表明其在覆盖记忆化答案方面表现强劲。
• 在更复杂的NQ数据集上，采用前缀调优的模型达到64.8%的准确率，表明其在复杂场景下仍能有效关注上下文。
• 两种方法均成功将模型输出从记忆化的错误答案转变为上下文正确的答案，如定性示例所示。
• 通过精确匹配评估确认了模型对替换答案的生成能力，表明其对输入上下文的关注度有所提升。
• 结果表明，结合适配器的提示调优可有效缓解幻觉，且性能损失不显著。
• 研究表明，显式建立输入与输出之间的关联可减少对参数化知识的过度依赖，从而提升事实一致性。