[論文レビュー] Unveiling the Pitfalls of Knowledge Editing for Large Language Models

Zhoubo Li, Ningyu Zhang+4 more|arXiv (Cornell University)|Oct 3, 2023

Topic Modeling被引用数 6

ひとこと要約

本稿は、大規模言語モデルにおける知識編集における2つの重要な落とし穴を特定し、調査している：知識の矛盾（知識が論理的に整合しない事実への編集によって生じるモデルの不整合）、および知識の歪み（パラメータ更新がモデルの内部知識構造を不可逆的に損なうもの）。著者らは新たなベンチマーク「ConflictEdit」と「RoundEdit」を提案し、複数の正しいラベルを同時に処理することで歪みを軽減するMulti-Label Edit (MLE) を開発。従来の編集手法に比べて優れた耐性を示している。

ABSTRACT

As the cost associated with fine-tuning Large Language Models (LLMs) continues to rise, recent research efforts have pivoted towards developing methodologies to edit implicit knowledge embedded within LLMs. Yet, there's still a dark cloud lingering overhead -- will knowledge editing trigger butterfly effect? since it is still unclear whether knowledge editing might introduce side effects that pose potential risks or not. This paper pioneers the investigation into the potential pitfalls associated with knowledge editing for LLMs. To achieve this, we introduce new benchmark datasets and propose innovative evaluation metrics. Our results underline two pivotal concerns: (1) Knowledge Conflict: Editing groups of facts that logically clash can magnify the inherent inconsistencies in LLMs-a facet neglected by previous methods. (2) Knowledge Distortion: Altering parameters with the aim of editing factual knowledge can irrevocably warp the innate knowledge structure of LLMs. Experimental results vividly demonstrate that knowledge editing might inadvertently cast a shadow of unintended consequences on LLMs, which warrant attention and efforts for future works. Code and data are available at https://github.com/zjunlp/PitfallsKnowledgeEditing.

研究の動機と目的

• 大規模言語モデルにおける知識編集が、知識の不整合や構造的損傷といった意図しない副作用を引き起こすかどうかを調査すること。
• 知識の矛盾（論理的に矛盾する事実への編集によって生じる）と知識の歪み（モデルの知識構造に不可逆的な変更をもたらす）の2大落とし穴を特定・分類すること。
• 複雑な編集シナリオ下での既存編集手法の耐性を体系的に評価できるよう、新しいベンチマークデータセット「ConflictEdit」と「RoundEdit」を開発すること。
• 編集時に複数の正しいラベルを同時に処理することで、モデルの元の知識構造を保全する、新たな手法「Multi-Label Edit (MLE)」を提案すること。
• 現在の編集手法が、編集対象とは無関係な事実知識のパフォーマンスを低下させることを実証的に示し、実運用におけるリスクを浮き彫りにすること。

提案手法

• 論理的矛盾を引き起こす編集ペアを含む「ConflictEdit」ベンチマークを提案し、編集手法の知識の矛盾への感受性を評価した。
• 編集のサイクルを模擬する「RoundEdit」ベンチマークを設計し、モデルが編集後に元に戻せるかを検証することで、知識の歪みを露呈した。
• 複数の正しい答えを一度の編集操作で処理することで、モデルの元の知識構造を保全する「Multi-Label Edit (MLE)」手法を導入した。
• 内在的指標（IR：Intrinsic Recall および FR：Factual Recall）を用いて、編集後のモデルのターゲット知識および関連しない事実知識におけるパフォーマンスを定量化した。
• GPT-4およびLLaMAベースのモデルを用いた制御実験により、簡単（Easy）および困難（Hard）な事実設定下で、編集手法の性能を評価した。
• 論理的ルールに基づく分析と知識グラフ推論を用い、評価前に編集ペアに潜在的な矛盾がないかを検出した。

実験結果

リサーチクエスチョン

• RQ1 論理的に整合しない事実のグループに対して知識編集手法を適用した場合、どの程度失敗するか？
• RQ2 知識編集が、元のモデルを復元する試みがあっても、大規模言語モデルの暗黙の知識構造に不可逆的な損傷をもたらすことがあるか？
• RQ3 既存の編集手法は、編集対象とは無関係な事実知識において、どの程度の性能を示すか？（潜在的な副作用を示唆する。）
• RQ4 一度に複数の正しいラベルを処理する単一の編集戦略は、通常のワンショット編集に比べ、知識の歪みを軽減できるか？
• RQ5 編集が、ターゲットおよび非ターゲット事実知識の両方におけるモデルのリコールに、定量的にどのような影響を及えるか？

主な発見

• 既存の知識編集手法は、知識の矛盾に苦しんでおり、論理的に矛盾する事実（例：「マリーの夫はピエールである」と「ジャックの妻はマリーである」）への編集によって、モデルの不整合が生じ、正しい事実の取得に失敗する。
• Round-Edit 実験では、元のモデルを逆編集で復元した後でも、元の事実（例：ジョー・バイデンの生誕地）のパフォーマンスが著しく低下しており、不可逆的な知識の歪みが生じていることが示された。
• Easy設定では、ROMEおよびMEMIT手法が50％以上の真のラベルで失敗しており、知識編集が関連しない事実のリコールを損なうことが明らかになった。
• Multi-Label Edit (MLE) 手法は、知識の歪みを顕著に低減し、標準的な編集アプローチに比べて真のラベルのパフォーマンスをよりよく保持していた。
• ConflictEdit ベンチマークは、すべての評価対象編集手法が、論理的に矛盾する編集ペアを処理する際、知識の矛盾に対して脆弱であることを明らかにした。
• RoundEdit ベンチマークは、わずかな編集でも、知識編集がモデルの内部知識グラフを不可逆的に破壊する可能性があることを示した。