[論文レビュー] Persuasion Tokens for Editing Factual Knowledge in LLMs

Paul Youssef, Seifert, Christin+1 more|arXiv (Cornell University)|Jan 23, 2026

Topic Modeling被引用数 0

ひとこと要約

要約：本論文は、説得トークン（P-Tokens）を、イン-context 編集プロンプトのコンパクトで訓練可能な代替手段として紹介し、IKEと同等かそれ以上の性能を、2つのデータセットと3つのモデルで実現可能な、LLMの事実的編集を効率化する。

ABSTRACT

In-context knowledge editing (IKE) is a promising technique for updating Large Language Models (LLMs) with new information. However, IKE relies on lengthy, fact-specific demonstrations which are costly to create and consume significant context window space. In this paper, we introduce persuasion tokens (P-Tokens) -- special tokens trained to replicate the effect of IKE demonstrations, enabling efficient knowledge editing without requiring fact-specific demonstrations. We evaluate P-Tokens across two editing datasets and three LLMs, demonstrating performance comparable to, and often exceeding, IKE. We further find that editing performance is robust to distractors with small negative effects to neighboring facts, and that increasing the number of P-Tokens improves performance. Our work addresses key limitations of IKE and provides a more practical and scalable alternative for editing LLMs.

研究の動機と目的

• LLMの事実知識更新における長大で事実特化的なIKEデモへの依存を減らす動機付け。
• P-Tokensを、より短いプロンプトでIKE効果を再現する訓練可能な特別トークンとして提案。
• 複数データセットとモデルでP-Tokensの有効性を示し、妨害要因に対する頑健性を分析。
• IKEと比較したトークン数および推論時間の効率向上を評価し、より多くのP-Tokensでのスケーラビリティを検討。

提案手法

• 編集を囲む特殊なP-TokensとしてBEGIN_EDITとEND_EDITを導入し、それらの埋め込みを最適化してKL(P_PT || P_IKE)を最小化。
• 対象編集を保つためにパラフレーズや近接プロンプトのシナリオへ最適化を拡張し、周辺的影響を制限。
• 訓練中に妨害要因を取り入れて頑健性を高め、その編集および周辺事実への影響を評価。
• 複数のLLM（GPT-J-6B、Qwen2.5-7B/14B、Llama3-8B）を用いてCounterFactとzsREでP-TokensをIKEおよびベースラインと比較。
• 編集有効性をCounterFactでES, PS, NS、zsREでEfficacy/Paraphrase/Specificity、推論時間指標とトークン数で測定。

実験結果

リサーチクエスチョン

• RQ1 P-Tokensは標準的な知識編集タスクでIKEと同等または上回る性能を発揮するか。
• RQ2 P-Tokensの数を増やすと編集の有効性と効率はどう変わるか。
• RQ3 妨害要因は編集性能や周辺事実へどのような影響を与えるか。
• RQ4 モデル間でIKEよりP-Tokensの推論時間とプロンプト長が効率的か。
• RQ5 P-Tokensはプロンプト、パラフレーズ、周辺事実に対して、関連しない知識を劣化させることなく一般化するか。

主な発見

• P-TokensはCounterFactとzsREで、試験済みのモデルと指標においてIKEを上回る。
• P-Tokensの数を増やすと、一般的に編集性能が向上する。
• 妨害要因は、編集/パラフレーズプロンプトの有効性を大きくは維持するが、周辺事実には負の影響を与えることがある。
• P-TokensはIKEに比べてプロンプト長と推論時間を劇的に削減する（設定によっては5倍超高速など）。
• 妨害要因を使った訓練は頑健性を向上させ、訓練中の妨害要因を除去すると性能が低下する。