[論文レビュー] DocTER: Evaluating Document-based Knowledge Editing

Suhang Wu, Wang, Ante+5 more|arXiv (Cornell University)|Aug 19, 2023

Topic Modeling被引用数 4

ひとこと要約

本稿では、事実トリプレットの代わりに生ドキュメントを用いて大規模言語モデル（LLM）の知識編集を評価する新しいベンチマーク、Eva-KELLMを紹介する。このフレームワークは、編集効果、関連のない知識の保持、変更された事実を用いた推論、多言語間転送の評価を実施し、現在の手法が直接編集の改善を遂げたものの、推論および多言語一般化において顕著な課題を抱えていることが明らかになった。

ABSTRACT

Knowledge editing aims to correct outdated or inaccurate knowledge in neural networks. In this paper, we explore knowledge editing using easily accessible documents instead of manually labeled factual triples employed in earlier research. To advance this field, we establish the first evaluation benchmark, extit{DocTER}, featuring Documents containing counterfactual knowledge for editing. A comprehensive four-perspective evaluation is introduced: Edit Success, Locality, Reasoning, and Cross-lingual Transfer. To adapt conventional triplet-based knowledge editing methods for this task, we develop an Extract-then-Edit pipeline that extracts triples from documents before applying existing methods. Experiments on popular knowledge editing methods demonstrate that editing with documents presents significantly greater challenges than using triples. In document-based scenarios, even the best-performing in-context editing approach still lags behind by 10 points in editing success when compared to using gold triples. This observation also holds for both reasoning and cross-lingual test sets. We further analyze key factors influencing task performance, including the quality of extracted triples, the frequency and position of edited knowledge in documents, various methods for enhancing reasoning, and performance differences across various directions in cross-lingual knowledge editing, which provide valuable insights for future research.

研究の動機と目的

• 高コストで限定的な事実トリプレットに依存する既存の知識編集ベンチマークの限界を是正すること。
• 編集入力として生ドキュメントを用いるより実用的で一般的な評価フレームワークの開発。
• 直接編集の成功に加え、変更された知識を用いた推論および多言語間転送についても包括的に評価すること。
• 特に推論および多言語能力において、現在の知識編集手法に顕著なギャップが存在することを特定すること。

提案手法

• ベンチマークは、トリプレットベースの手法と比較してより自然でスケーラブルなアプローチを可能にするために、生ドキュメントを編集入力として使用する。
• LLMの評価は4つの次元で実施される：直接的知識編集評価（DKEE）、関連のない知識保持評価（UKRE）、推論を目的とした間接的知識編集評価（IKEE）、多言語間知識編集評価（CKEE）。
• モデルのオリジナルな事実と編集後の事実に対する確信度を測る確率ベースのスコアリングを採用し、定量的評価を可能にする。
• 編集性能に与えるパrameterレベルの影響を分析するために、特定の層（例：MLPおよび自己注意機構）に対してLoRAを用いた微調整を実施する。
• 包括的な評価を可能にするために、多様な事実編集、推論用質問、多言語クエリペアを含むデータセットを構築する。
• LoRA微調整をMLPや自己注意機構などの異なるモデル部品に適用し、有効な編集戦略を特定するための実験を実施する。

実験結果

リサーチクエスチョン

• RQ1 生ドキュメントを用いた知識編集は、トリプレットベースの手法に比べ、より高い効果性と広範な適用性を達成できるか？
• RQ2 編集されたLLMは、単に記憶するのではなく、新たに挿入された知識を正しく推論できる程度はどの程度か？
• RQ3 訓練ドキュメントの言語とは異なる言語でクエリが与えられた場合、現在の編集手法はどの程度多言語環境に一般化できるか？
• RQ4 特定のモデル層は、成功した知識編集においてどのような役割を果たしており、どの層がパrameter調整において最も効果的か？

主な発見

• +LoRA(Self-attention+MLP)手法は、BLOOM-3BでESスコアを23.88から44.33に向上させ、直接編集において顕著な進展を示したが、関連のない知識の保持が低下するという代償を伴った。
• UKRE指標は、DKEEの性能向上が関連のない知識の保持を悪化させる傾向にあることを示し、重要なトレードオフが存在することを明らかにした。
• 変更された知識を用いた推論の能力は依然として弱く、BLOOM-7.1Bで最高のIKEE正答率は48.00にとどまり、編集された事実が推論に適切に統合されていないことが示された。
• 多言語間知識転送は著しく制限されており、CESスコアがESスコアよりも顕著に低く、非ターゲット言語への一般化能力が著しく低いことが明らかになった。
• モデルの中間層（11–20）が編集において最も効果的であり、+LoRA(MLP 11–20)および+LoRA(Self-attention 11–20)が他の層グループを上回った。
• 大規模モデル（BLOOM-7.1B）は小規模モデル（BLOOM-3B）よりも編集手法による改善が顕著に大きかったことから、モデルスケールが編集可能性を高める要因であると考えられる。