[论文解读] Evaluating the Ripple Effects of Knowledge Editing in Language Models

Roi Cohen, Eden Biran+3 more|arXiv (Cornell University)|Jul 24, 2023

Topic Modeling被引用 4

一句话总结

本文提出了RippleEdits，一个用于评估语言模型知识编辑中涟漪效应的基准——即单个事实被修改后，未预期或遗漏的逻辑后果。研究发现，当前的参数化编辑方法在一致传播编辑至相关事实方面表现不佳，而一种简单的上下文编辑基线方法反而优于这些方法，揭示了未来研究的一个有前景的新方向。

ABSTRACT

Modern language models capture a large body of factual knowledge. However, some facts can be incorrectly induced or become obsolete over time, resulting in factually incorrect generations. This has led to the development of various editing methods that allow updating facts encoded by the model. Evaluation of these methods has primarily focused on testing whether an individual fact has been successfully injected, and if similar predictions for other subjects have not changed. Here we argue that such evaluation is limited, since injecting one fact (e.g. ``Jack Depp is the son of Johnny Depp'') introduces a ``ripple effect'' in the form of additional facts that the model needs to update (e.g.``Jack Depp is the sibling of Lily-Rose Depp''). To address this issue, we propose a novel set of evaluation criteria that consider the implications of an edit on related facts. Using these criteria, we then construct RippleEdits, a diagnostic benchmark of 5K factual edits, capturing a variety of types of ripple effects. We evaluate prominent editing methods on RippleEdits, showing that current methods fail to introduce consistent changes in the model's knowledge. In addition, we find that a simple in-context editing baseline obtains the best scores on our benchmark, suggesting a promising research direction for model editing.

研究动机与目标

• 解决现有知识编辑评估方法仅关注目标事实、忽略相关事实影响的局限性。
• 识别并形式化‘涟漪效应’——即单次编辑应引发的逻辑后果，这些后果也应被更新至模型的知识中。
• 开发一个全面的基准RippleEdits，用于测试编辑方法在多样化事实关系中处理这些涟漪效应的能力。
• 在该基准上评估最先进的参数化编辑方法，并与一种简单的上下文编辑基线进行比较。
• 揭示当前编辑方法中的系统性失败，并为未来研究提供更稳健、逻辑一致的编辑方向。

提出的方法

• 提出六项评估标准以测试涟漪效应，包括逻辑推理、主体别名、关系特异性以及多跳事实组合等。
• 构建RippleEdits，一个包含5,000个事实编辑及其相关测试查询的诊断性基准，用于探测涟漪效应。
• 使用Wikidata作为知识源，生成编辑内容及相关事实查询，包含实体流行度和编辑时间等元数据。
• 在五种近期大语言模型（GPT-2、GPT-Neo、LLaMA、GPT-3）上评估三种主流参数化编辑方法（ROME、ICE）和一种简单的上下文编辑基线。
• 将失败模式分类为‘无影响’、‘回避’和‘噪声’，以分析编辑失败的位置与原因。
• 使用准确率和错误类型分布等定量指标，比较不同方法的性能。

Figure 1: Illustration of the evaluation scope of RippleEdits , compared to existing knowledge editing benchmarks. For a given factual edit, we consider the “ripple effect” of the edit on the model’s knowledge.

实验结果

研究问题

• RQ1 当前的知识编辑方法在在多大程度上能成功将编辑传播至逻辑相关的事实（即涟漪效应）？
• RQ2 不同编辑方法在依赖于已编辑事实的复杂多跳事实推理任务中的表现如何？
• RQ3 编辑方法的性能是否随模型规模或实体频率而变化？如果是，其变化规律是什么？
• RQ4 简单的上下文编辑方法是否能在捕捉涟漪效应方面优于复杂的参数化编辑方法？
• RQ5 当前编辑方法在涟漪效应评估中占主导地位的失败模式（如无变化、回避、噪声）是什么？

主要发现

• 当前的参数化编辑方法（如ROME和ICE）在一致更新相关事实方面表现不佳，超过68%的失败是导致错误更改，而非无影响。
• 上下文编辑基线在RippleEdits上优于所有参数化方法，在所有评估模型中均达到最高准确率。
• 更大的模型（如LLaMA）在处理涟漪效应方面优于更小的模型（如GPT-2），表明模型规模与涟漪效应鲁棒性之间存在正相关关系。
• 编辑高频实体会导致更多逻辑推理错误，表明高频实体在涟漪效应场景中更容易引发误推断。
• 对于GPT-3，上下文编辑基线在LG类型查询上的回避率高达49%，这可能是其性能低于LLaMA的原因之一。
• 在200个采样的失败案例中，ROME在31–45%的情况下引入了错误更改，而ICE在65–71%的失败中导致模型回避，表明其具有不同的失败特征。

Figure 2: An illustration of our evaluation criteria, for an edit that simulates adding a sibling to the subject entity Prince , shown at the top of each graph with a bold arrow and an edit sign over the Sibling relation. For each criterion, the tested subject and target object are circles with dash