[论文解读] Knowledge Conflicts for LLMs: A Survey

Rongwu Xu, Zehan Qi+5 more|arXiv (Cornell University)|Mar 13, 2024

Library Science and Information Systems被引用 4

一句话总结

本综述系统性地对大语言模型（LLMs）中的知识冲突进行了分类与分析，识别出三种类型：上下文-记忆冲突、上下文间冲突和记忆内冲突。它探讨了这些冲突的成因、对模型输出行为的影响，并评估了现有解决方案，提出了一套全面的框架，以提升LLMs在外部和参数化知识源支持下的实际应用中的鲁棒性与可信度。

ABSTRACT

This survey provides an in-depth analysis of knowledge conflicts for large language models (LLMs), highlighting the complex challenges they encounter when blending contextual and parametric knowledge. Our focus is on three categories of knowledge conflicts: context-memory, inter-context, and intra-memory conflict. These conflicts can significantly impact the trustworthiness and performance of LLMs, especially in real-world applications where noise and misinformation are common. By categorizing these conflicts, exploring the causes, examining the behaviors of LLMs under such conflicts, and reviewing available solutions, this survey aims to shed light on strategies for improving the robustness of LLMs, thereby serving as a valuable resource for advancing research in this evolving area.

研究动机与目标

• 系统性地对由于上下文知识与参数化知识相互作用而引发的大语言模型（LLMs）中的知识冲突进行分类与分析。
• 探究这些冲突的根本原因，包括噪声或误导性的外部来源以及预训练数据中的不一致性。
• 研究LLMs在不同冲突类型下的行为表现，特别是生成幻觉或矛盾输出的情况。
• 回顾并评估现有缓解知识冲突的解决方案，突出当前方法中的不足之处。
• 识别未来研究方向，包括可解释性、多语言性以及LLMs中的多模态冲突解决。

提出的方法

• 综述提出了三种冲突类型的分类体系：上下文-记忆冲突（用户输入/检索到的上下文与模型参数化知识之间的冲突）、上下文间冲突（多个外部上下文源之间的冲突）以及记忆内冲突（由于预训练数据不一致，模型自身参数化知识内部的冲突）。
• 分析了知识冲突的生命周期，将其作为连接因果触发因素（如噪声数据、模糊提示）与模型行为（如幻觉、不一致响应）的枢纽。
• 综述了现有解决方案，包括检索增强生成（RAG）技术、置信度校准以及注意力头分析（例如，通过无需微调的路径修补方法PH3实现冲突缓解）。
• 强调在冲突缓解过程中，需对内部模型机制（如注意力头和神经元激活）进行微观分析，以提升可解释性。
• 将冲突分析类比于弗洛伊德精神分析，主张理解冲突的根源而非仅处理症状。
• 提出未来研究方向，包括多语言冲突检测、跨语言知识对齐以及跨文本、视觉和音频输入的多模态冲突解决。

实验结果

研究问题

• RQ1 当外部上下文知识与模型的参数化知识相矛盾时，上下文-记忆冲突是如何产生的？
• RQ2 当多个外部来源提供相互矛盾的信息时，上下文间冲突的原因及其行为表现是什么？
• RQ3 为什么LLMs内部会出现记忆内冲突，它们如何影响同一问题不同表达方式下的响应一致性？
• RQ4 知识冲突如何导致幻觉现象，并降低LLMs在实际应用中的可信度？
• RQ5 当前解决方案存在哪些局限性？未来研究如何通过可解释性、多语言性和多模态融合提升鲁棒性？

主要发现

• 知识冲突是LLMs中幻觉和不一致输出的主要来源，尤其在外部上下文与参数化知识相矛盾时更为显著。
• 上下文-记忆冲突在检索增强型LLMs中普遍存在，噪声或对抗性文档可能误导模型输出。
• 当多个检索文档提供相互矛盾的信息时，上下文间冲突出现，增加了模型推理的不确定性。
• 记忆内冲突源于训练数据的不一致性，导致LLMs对语义等价的问题产生不同答案。
• 现有解决方案通常依赖于假设先验或启发式规则，缺乏对多样化冲突类型的粒度和泛化能力。
• 新兴技术如通过路径修补进行剪枝的注意力头（PH3）在不更新参数的情况下，通过分析注意力头贡献，展现出解决冲突的潜力。