[论文解读] Unveiling the Pitfalls of Knowledge Editing for Large Language Models

Zhoubo Li, Ningyu Zhang+4 more|arXiv (Cornell University)|Oct 3, 2023

Topic Modeling被引用 6

一句话总结

本文识别并研究了大语言模型知识编辑中的两个关键陷阱：知识冲突（Knowledge Conflict），即对逻辑上不一致的事实进行编辑会导致模型不一致；以及知识失真（Knowledge Distortion），即参数更新会不可逆地破坏模型内部知识结构。作者提出了新的基准测试——ConflictEdit 和 RoundEdit，并提出多标签编辑（Multi-Label Edit, MLE）方法，通过同时处理多个正确标签来减少失真，相较于以往的编辑技术展现出更高的鲁棒性。

ABSTRACT

As the cost associated with fine-tuning Large Language Models (LLMs) continues to rise, recent research efforts have pivoted towards developing methodologies to edit implicit knowledge embedded within LLMs. Yet, there's still a dark cloud lingering overhead -- will knowledge editing trigger butterfly effect? since it is still unclear whether knowledge editing might introduce side effects that pose potential risks or not. This paper pioneers the investigation into the potential pitfalls associated with knowledge editing for LLMs. To achieve this, we introduce new benchmark datasets and propose innovative evaluation metrics. Our results underline two pivotal concerns: (1) Knowledge Conflict: Editing groups of facts that logically clash can magnify the inherent inconsistencies in LLMs-a facet neglected by previous methods. (2) Knowledge Distortion: Altering parameters with the aim of editing factual knowledge can irrevocably warp the innate knowledge structure of LLMs. Experimental results vividly demonstrate that knowledge editing might inadvertently cast a shadow of unintended consequences on LLMs, which warrant attention and efforts for future works. Code and data are available at https://github.com/zjunlp/PitfallsKnowledgeEditing.

研究动机与目标

• 调查大语言模型知识编辑是否会导致诸如知识不一致或结构损伤等意外副作用。
• 识别并分类两种主要陷阱：知识冲突（由对逻辑上冲突的事实进行编辑引起）和知识失真（由对模型知识结构造成不可逆改变引起）。
• 开发新的基准数据集——ConflictEdit 和 RoundEdit，以系统评估现有编辑方法在复杂编辑场景下的鲁棒性。
• 提出一种新方法——多标签编辑（Multi-Label Edit, MLE），通过在编辑过程中联合处理多个正确标签，减轻知识失真。
• 提供实证证据表明，当前的编辑技术会损害模型在无关事实知识上的表现，凸显其在实际部署中的风险。

提出的方法

• 提出了 ConflictEdit 基准测试，由产生逻辑冲突的编辑对组成，用于评估编辑方法对知识冲突的敏感性。
• 设计了 RoundEdit 基准测试，以模拟编辑循环，揭示模型是否能从编辑中恢复，从而暴露知识失真问题。
• 引入了多标签编辑（MLE）方法，通过在单次编辑操作中处理多个正确答案，以保护模型原有的知识结构。
• 使用内在指标——IR（Intrinsic Recall）和 FR（Factual Recall），量化编辑后模型在目标事实和无关事实知识上的表现。
• 使用 GPT-4 和基于 LLaMA 的模型进行受控实验，评估不同编辑方法在简单（Easy）和困难（Hard）事实设置下的表现。
• 采用基于逻辑规则的分析和知识图谱推理，在评估前检测编辑对之间的潜在冲突。

实验结果

研究问题

• RQ1 当应用于存在逻辑不一致的事实组时，知识编辑方法在多大程度上会失效？
• RQ2 知识编辑是否会导致大语言模型隐式知识结构的不可逆损伤，即使尝试通过反向编辑恢复原始状态？
• RQ3 现有编辑技术在与编辑事实无关的事实知识上的表现如何，反映出潜在的副作用？
• RQ4 一种能够同时处理多个正确标签的单一编辑策略，是否相比标准的一次性编辑能更有效地减少知识失真？
• RQ5 编辑对模型在目标事实和非目标事实知识上的召回率产生了怎样的定量影响？

主要发现

• 现有知识编辑方法存在知识冲突问题，当对冲突事实（如同时修改“玛丽的丈夫是皮埃尔”和“雅克的妻子是玛丽”）进行编辑时，会导致模型不一致，无法正确检索事实。
• 在 Round-Edit 实验中发现，即使通过反向编辑尝试恢复原始模型，对原始事实（如乔·拜登的出生地）的性能仍显著下降，表明存在不可逆的知识失真。
• 在简单设置下，ROME 和 MEMIT 方法在超过 50% 的真实标签上失败，表明知识编辑会损害与编辑内容无关的事实召回能力。
• 多标签编辑（MLE）方法显著减少了知识失真，在保持真实标签表现方面优于标准编辑方法。
• ConflictEdit 基准测试显示，所有评估的编辑方法在处理逻辑上不一致的编辑对时，均易受知识冲突影响。
• RoundEdit 基准测试表明，即使仅进行少量编辑，知识编辑也可能不可逆地破坏模型内部知识图谱的结构。