[論文レビュー] Evaluating the Ripple Effects of Knowledge Editing in Language Models

Roi Cohen, Eden Biran+3 more|arXiv (Cornell University)|Jul 24, 2023

Topic Modeling被引用数 4

ひとこと要約

本稿では、言語モデルにおける知識編集のリバーブ効果（すなわち、1つの事実を編集した際の意図しないまたは見過ごされた論理的帰結）を評価するためのベンチマーク、RippleEditsを紹介する。現在のパラメトリック編集手法は、関連する事実への編集の伝搬を一貫して行えないことが判明した一方で、単純なコンテキスト内編集のベースラインがそれらを上回る性能を示し、今後の研究における有望な方向性を示している。

ABSTRACT

Modern language models capture a large body of factual knowledge. However, some facts can be incorrectly induced or become obsolete over time, resulting in factually incorrect generations. This has led to the development of various editing methods that allow updating facts encoded by the model. Evaluation of these methods has primarily focused on testing whether an individual fact has been successfully injected, and if similar predictions for other subjects have not changed. Here we argue that such evaluation is limited, since injecting one fact (e.g. ``Jack Depp is the son of Johnny Depp'') introduces a ``ripple effect'' in the form of additional facts that the model needs to update (e.g.``Jack Depp is the sibling of Lily-Rose Depp''). To address this issue, we propose a novel set of evaluation criteria that consider the implications of an edit on related facts. Using these criteria, we then construct RippleEdits, a diagnostic benchmark of 5K factual edits, capturing a variety of types of ripple effects. We evaluate prominent editing methods on RippleEdits, showing that current methods fail to introduce consistent changes in the model's knowledge. In addition, we find that a simple in-context editing baseline obtains the best scores on our benchmark, suggesting a promising research direction for model editing.

研究の動機と目的

• 既存の知識編集評価がターゲット事実にのみ焦点を当て、関連する事実的含意を無視するという限界に対処すること。
• 『リバーブ効果』を特定・形式化すること——すなわち、1つの編集がモデルの知識内で関連するべき論理的帰結を引き起こすもの。
• 多様な事実的関係をカバーするリバーブ効果を的確に評価できる包括的ベンチマーク、RippleEditsの開発。
• 最先端のパラメトリック編集手法をこのベンチマークで評価し、単純なコンテキスト内編集のベースラインと比較すること。
• 現在の編集手法における体系的な失敗要因を特定し、より強固で論理的に整合性のある編集へ向かう今後の研究を導くこと。

提案手法

• リバーブ効果をテストするための6つの評価基準を提案する。論理的推論、主題の別名、関係の明確性、マルチホップ事実の合成を含む。
• 5,000件の事実編集と、それらのリバーブ効果を調べるためのテストクエリを備えた診断用ベンチマーク、RippleEditsを構築する。
• Wikidataを知識源として用い、編集と関連する事実的クエリ（エンティティの人気度と編集の新しさに関するメタデータを含む）を生成する。
• 3つの代表的なパラメトリック編集手法（ROME、ICE）と、単純なコンテキスト内編集ベースラインを、5つの最近の言語モデル（GPT-2、GPT-Neo、LLaMA、GPT-3）で評価する。
• 失敗モードを「効果なし」「控えめな反応」「ノイズ」に分類し、編集がどこで・なぜ失敗するかを分析する。
• リバーブ効果クエリの正答率やエラー種別分布といった定量的指標を用い、手法間の性能を比較する。

Figure 1: Illustration of the evaluation scope of RippleEdits , compared to existing knowledge editing benchmarks. For a given factual edit, we consider the “ripple effect” of the edit on the model’s knowledge.

実験結果

リサーチクエスチョン

• RQ1 現在の知識編集手法は、論理的に関連する事実（リバーブ効果）に編集をどれほど一貫して伝搬できるか。
• RQ2 編集された事実に依存する複雑なマルチホップ的事実推論タスクにおいて、異なる編集手法の性能はいかが。
• RQ3 モデルのサイズやエンティティの頻度に応じて、編集手法の性能に差が生じるか。その場合、どのような傾向が見られるか。
• RQ4 単純なコンテキスト内編集アプローチが、リバーブ効果を捉える点で、複雑なパラメトリック編集手法を上回る可能性はあるか。
• RQ5 現在の編集手法における主な失敗モード（例：変更なし、控えめな反応、ノイズ）は何か。リバーブ効果評価において顕著に現れるか。

主な発見

• ROME や ICE といった現在のパラメトリック編集手法は、関連事実の更新を一貫して行えないことが判明。68％以上の失敗が誤った変更を引き起こしており、変更なしとは異なる。
• コンテキスト内編集のベースラインは、RippleEditsにおいてすべての評価対象モデルで、すべてのパラメトリック手法を上回る正答率を達成した。
• 大規模モデル（例：LLaMA）は小規模モデル（例：GPT-2）よりもリバーブ効果をよりうまく処理しており、モデル規模とリバーブ効果の耐性の間には正の相関があると示唆された。
• 頻度の高いエンティティの編集は、論理的推論エラーを増加させる傾向にあり、高頻度エンティティはリバーブ効果の文脈で誤推論を引き起こしやすい可能性がある。
• GPT-3では、LGタイプのクエリにおいて、コンテキスト内編集ベースラインの控えめな反応率が49％に達しており、これはLLaMAに比べて性能が低い理由を説明する要因である可能性がある。
• 200件の失敗をサンプリングした結果、ROMEは31–45％のケースで誤った変更を引き起こした一方、ICEは65–71％の失敗でモデルが控えめな反応を示した。これは、両手法が異なる失敗プロファイルを持つことを示している。

Figure 2: An illustration of our evaluation criteria, for an edit that simulates adding a sibling to the subject entity Prince , shown at the top of each graph with a bold arrow and an edit sign over the Sibling relation. For each criterion, the tested subject and target object are circles with dash