[論文レビュー] EasyEdit: An Easy-to-use Knowledge Editing Framework for Large Language Models

Peng Wang, Ningyu Zhang+12 more|arXiv (Cornell University)|Aug 14, 2023

Topic Modeling被引用数 9

ひとこと要約

EasyEdit は、複数の知識編集手法を統合した統一的で使いやすいフレームワークを提供し、LLM の単一/バッチ/逐次編集を可能にし、信頼性・一般化・局所性・移植性・効率性を評価します。LlaMA-2 における信頼性と一般化において、知識編集が従来のファインチューニングを上回る可能性を示します。

ABSTRACT

Large Language Models (LLMs) usually suffer from knowledge cutoff or fallacy issues, which means they are unaware of unseen events or generate text with incorrect facts owing to outdated/noisy data. To this end, many knowledge editing approaches for LLMs have emerged -- aiming to subtly inject/edit updated knowledge or adjust undesired behavior while minimizing the impact on unrelated inputs. Nevertheless, due to significant differences among various knowledge editing methods and the variations in task setups, there is no standard implementation framework available for the community, which hinders practitioners from applying knowledge editing to applications. To address these issues, we propose EasyEdit, an easy-to-use knowledge editing framework for LLMs. It supports various cutting-edge knowledge editing approaches and can be readily applied to many well-known LLMs such as T5, GPT-J, LlaMA, etc. Empirically, we report the knowledge editing results on LlaMA-2 with EasyEdit, demonstrating that knowledge editing surpasses traditional fine-tuning in terms of reliability and generalization. We have released the source code on GitHub, along with Google Colab tutorials and comprehensive documentation for beginners to get started. Besides, we present an online system for real-time knowledge editing, and a demo video.

研究の動機と目的

• LLMs の知識編集における知識カットオフと誤謬問題を克服するための、統一で使いやすいフレームワークを動機づける。
• アーキテクチャやタスク間で柔軟に組み合わせられるよう、編集手法と評価をモジュール化する。
• 単一・バッチ・逐次編集と信頼性のある評価のためのインターフェースとツールを提供する。
• よく知られた LLMs への適用性を示し、従来のファインチューニングと比較する。
• 実務導入を促進するオンラインシステムとチュートリアルを提供する。

提案手法

• Editor、Method、Evaluate、Trainer のモジュールを統一的な apply_to_model インターフェースで導入する。
• メモリベース、メタラーニング、locate-then-edit の編集パラダイムを単一フレームワーク内でサポートする。
• 編集とトレーニング手順を構成するハイパーパラメータ（Hparams）とトレーナー（BaseTrainer）の抽象化を説明する。
• 単一インスタンス、バッチ、逐次編集の状況に対応する設計を提供する。
• EasyEdit 内で MEND を LLaMA に適用し、米国大統領を Joe Biden に変更する例を示す。
• 編集手法とその特徴を比較した表を提示する（表1）。

実験結果

リサーチクエスチョン

• RQ1 編集手法を LLM 知識編集のための単一で使いやすい統一フレームワークにどう統合できるか。
• RQ2 信頼性、一般化、局所性、移植性の観点で、記憶ベース、メタラーニング、locate-then-edit など異なる編集パラダイムのトレードオフは何か。
• RQ3 標準ベンチマーク ZsRE のようなデータで代表的モデル（LLaMA-2 7B）上で編集手法はどう機能するか。
• RQ4 EasyEdit は単一インスタンス、バッチインスタンス、逐次編集を効率的なリソース使用でサポートできるか。
• RQ5 インコンテキスト学習ベースの編集（IKE）は関連する事実へ編集知識を効果的に伝搬するか。

主な発見

Method	Reliability	Generalization	Locality	Portability
FT-L	56.94	52.02	96.32	0.07
SERAC	99.49	99.13	100.00	0.13
IKE	100.00	99.98	69.19	67.56
MEND	94.24	90.27	97.04	0.14
KN	28.95	28.43	65.43	0.07
ROME	92.45	87.04	99.63	10.46
MEMIT	92.94	85.97	99.49	6.03

• SERAC と IKE は ZsRE に対して LLaMA-2 で高い信頼性と一般化を達成し、IKE に関してはほぼ完璧な信頼性/一般化を示す。
• MEND は強い信頼性と一般化を達成し、試験条件下でしばしば ROME を上回る。
• FT-L は L2 制約下で他の編集手法に比べて性能が劣る。ファインチューニングは知識編集には必ずしも効果的でないことを示唆。
• PORTABILITY は手法とモデルによって異なり、いくつかの手法は LLaMA-2 環境で編集知識を伝搬させるのが難しい一方、IKE は比較的高いリップル編集を維持する。
• 表2 は手法別の定量的結果を示し、SERAC と IKE は信頼性と一般化で優れており、KN は低性能。