[論文レビュー] Memory-Based Model Editing at Scale

Eric Mitchell, Charles P. Lin+3 more|arXiv (Cornell University)|Jun 13, 2022

Topic Modeling被引用数 31

ひとこと要約

SERACは半パラメトリックでメモリベースのモデル編集を導入し、編集を明示的なメモリに格納し、スコープ分類器と反事実モデルを使って基盤モデルの予測を調整する。QA、ファクトチェック、対話タスクで勾配ベースの編集手法と比較して強力な性能を発揮。

ABSTRACT

Even the largest neural networks make errors, and once-correct predictions can become invalid as the world changes. Model editors make local updates to the behavior of base (pre-trained) models to inject updated knowledge or correct undesirable behaviors. Existing model editors have shown promise, but also suffer from insufficient expressiveness: they struggle to accurately model an edit's intended scope (examples affected by the edit), leading to inaccurate predictions for test inputs loosely related to the edit, and they often fail altogether after many edits. As a higher-capacity alternative, we propose Semi-Parametric Editing with a Retrieval-Augmented Counterfactual Model (SERAC), which stores edits in an explicit memory and learns to reason over them to modulate the base model's predictions as needed. To enable more rigorous evaluation of model editors, we introduce three challenging language model editing problems based on question answering, fact-checking, and dialogue generation. We find that only SERAC achieves high performance on all three problems, consistently outperforming existing approaches to model editing by a significant margin. Code, data, and additional project information will be made available at https://sites.google.com/view/serac-editing.

研究の動機と目的

• 変更環境の中での迅速でターゲットを絞ったポストデプロイメントモデル更新の必要性を動機づける。
• 編集範囲とスケーラビリティの課題に苦しむ勾配ベースのエディターの制限に対処する。
• 編集推論を基盤モデルのパラメータと切り離す半パラメトリック編集フレームワークを提案する。
• 堅牢性とスケーラビリティを示す難易度の高い編集タスクで評価する。

提案手法

• ユーザー提供の編集を基盤モデルのパラメータを変更せずに明示的なメモリに保存する。
• 編集の範囲内のテスト入力かどうかを判断するスコープ分類器を導入する。
• 適用可能な場合、編集された世界の下でラベルを予測する反事実モデルを取り入れる。
• スコープ内にあるとき最も関連性の高い編集を用いて予測を導く半パラメトリックエディターで基盤モデルをラップする。
• スコープ分類器と反事実モデルを監督付き目的関数を用いて別々に訓練する。
• QA、QA-hard、ファクトチェック、ConvSent対話編集タスクを横断的に評価する。

実験結果

リサーチクエスチョン

• RQ1 保存された編集のスコープにあるテスト入力をメモリベースのエディターが正確に判断できるか。
• RQ2 編集に条件付けられた反事実モデルは、スコープ内の入力に対する予測精度を改善しつつ、スコープ外の挙動を維持できるか。
• RQ3 SERACは複数の同時編集と多様なタスクにおいて勾配ベースのエディターと比較してどのように性能を発揮するか。

主な発見

• SERACはQA、QA-hard、FC、ConvSentタスクで高い編集成功率を達成する。
• 多数の同時編集でもベースラインが劣化する中、SERACは性能を維持し、スケーラビリティを示す。
• スコープ分類器は編集間の干渉とスコープ外入力との干渉を効果的に低減する。
• 分離設計により、各基盤モデル用にエディターを再訓練せずに異なる基盤モデル間でエディターを再利用できる。
• タスクを横断して、SERACは既存の編集アプローチを一貫して substantial なマージンで上回る。
• 分類器の構造（例：クロスアテンション対埋め込み）は性能に影響を与え、より豊かな分類器が難しい設定でより良い結果をもたらす。