[論文レビュー] Editing Language Model-based Knowledge Graph Embeddings

Siyuan Cheng, Ningyu Zhang+4 more|arXiv (Cornell University)|Jan 25, 2023

Topic Modeling被引用数 6

ひとこと要約

本稿では、完全な再訓練を伴わずに効率的かつデータ効率的な更新が可能な、言語モデルベースの知識グラフ埋め込み（KGEs）の編集を可能にする、新しいタスクを導入する。KGEditorと呼ばれる手法を提案し、ハイパーネットワークを介してパラメトリック層を統合することで、事実の編集や追加を実現する。E-FB15k237およびA-WN18RRのベンチマークデータセット上で、高い知識信頼性と局所性を達成し、性能劣化を最小限に抑える。

ABSTRACT

Recently decades have witnessed the empirical success of framing Knowledge Graph (KG) embeddings via language models. However, language model-based KG embeddings are usually deployed as static artifacts, making them difficult to modify post-deployment without re-training after deployment. To address this issue, we propose a new task of editing language model-based KG embeddings in this paper. This task is designed to facilitate rapid, data-efficient updates to KG embeddings without compromising the performance of other aspects. We build four new datasets: E-FB15k237, A-FB15k237, E-WN18RR, and A-WN18RR, and evaluate several knowledge editing baselines demonstrating the limited ability of previous models to handle the proposed challenging task. We further propose a simple yet strong baseline dubbed KGEditor, which utilizes additional parametric layers of the hypernetwork to edit/add facts. Our comprehensive experimental results reveal that KGEditor excels in updating specific facts without impacting the overall performance, even when faced with limited training resources. Code and datasets are available in https://github.com/zjunlp/PromptKG/tree/main/deltaKG.

研究の動機と目的

• 展開後、完全な再訓練を伴わずに静的で事前学習済みの言語モデルベースKGEを更新する課題に対処すること。
• 誤った事実の修正や新しい知識の追加に向け、高速でデータ効率的な更新を可能にすること。
• 特定の事実の編集が、事前に学習した他の事実の性能に悪影響を及えないようにすること（知識の局所性を確保すること）。
• E-FB15k237、A-FB15k237、E-WN18RR、A-WN18RRの4つの新規データセットを構築することで、KGEの編集のための新しいベンチマークを確立すること。
• 新タスク上で既存の編集手法を評価・比較し、KGE編集におけるそれらの限界を示すこと。

提案手法

• KGEのための2つの新規タスク（EDIT：誤った事実の修正、ADD：新しい事実の追加）を提案する。
• KGEモデルのフィードフォワードネットワーク（FFN）内で知識を編集できる、シンプルで効果的なベースラインであるKGEditorを設計する。この手法では、ハイパーネットワークを介して学習可能なパラメトリック層を統合する。
• 編集性とパフォーマンスの向上を図るため、プロンプトベースのKGEモデル（PT-KGE）をベースアーキテクチャとして採用する。
• パrameterの更新を最小限に抑えるために、KGEditorはターゲット事実のみで訓練する。
• 特定の知識ニューロンに焦点を当てた、ファインチューニング不要でパrameter効率的な更新メカニズムとして、知識編集を実装する。
• Succ@1やRK@3といった指標を用いて、知識の信頼性と局所性を測定することでパフォーマンスを評価する。

実験結果

リサーチクエスチョン

• RQ1 既存の知識編集手法は、関連のない事実の性能に悪影響を及けずに、言語モデルベースKGEを効果的に更新できるか？
• RQ2 編集数の増加が、KGE編集手法の信頼性と局所性にどのように影響するか？
• RQ3 KGEditorのようなパrameter効率的メソッドは、KGE内の特定の事実の編集においても高いパフォーマンスを維持できるか？
• RQ4 プロンプトベースとファインチューニング済みのKGE初期化法（例：PT-KGE対FT-KGE）の違いが、編集パフォーマンスに与える影響は何か？
• RQ5 KGEにおける多対多関係を扱う際、編集手法は知識の局所性をどの程度維持できるか？

主な発見

• KE、MEND、CALINETといった既存手法は、KGEの編集において限定的な有効性を示し、関連のない事実の性能に顕著な低下を引き起こす。
• KGEditorは、知識の信頼性と局所性の両面ですべてのベースラインを上回り、最大32回の編集でも安定したパフォーマンスを維持する。
• E-FB15k237において、KGEditorのSucc@1スコアは編集数にかかわらず約0.85で安定している一方、MENDのスコアは8回を超えると著しく低下する。
• KGEditorとKEは、FFNベースのパrameter編集を採用しているため、知識の局所性が保たれる。これに対してMENDは編集間での干渉を受けるため、性能劣化を来す。
• プロンプトベースのKGEモデル（PT-KGE）は、ファインチューニング済みKGE（FT-KGE）よりも編集タスクで優れたパフォーマンスを示し、編集に適した編集性と目的との整合性が優れていることが示唆される。
• 可視化結果から、KGEditorは編集後、正解エントリ（ゴールデンラベル）への予測を明確にシフトさせている一方で、他のエントリの相対的位置関係を保持していることが確認された。