QUICK REVIEW
[論文レビュー] Mass-Editing Memory in a Transformer
Kevin Meng, Arnab Sen Sharma|arXiv (Cornell University)|Oct 13, 2022
ひとこと要約
MEMITは、MLPベースのメモリ層の連続を更新することで、何千もの記憶を直接言語モデルに更新し、従来の方法を超えてスケールし、一般化、特異性、流暢さを維持します。
ABSTRACT
Recent work has shown exciting promise in updating large language models with new memories, so as to replace obsolete information or add specialized knowledge. However, this line of work is predominantly limited to updating single associations. We develop MEMIT, a method for directly updating a language model with many memories, demonstrating experimentally that it can scale up to thousands of associations for GPT-J (6B) and GPT-NeoX (20B), exceeding prior work by orders of magnitude. Our code and data are at https://memit.baulab.info.
研究の動機と目的
- 多数の新しい記憶を直接モデルのパラメータに更新することを目指す。
- 大量のメモリ編集のために事実の想起を媒介する、スケーラブルなトランスフォーマー層のセットを特定する。
- 制御されたトレードオフを伴い、何千もの記憶を挿入する直接的なパラメータ更新手法を開発する。
提案手法
- 最後の主語トークンSの事実想起を媒介する中間層MLPの重要経路(l in R)を特定する。
- 既存の記憶を保存しつつ二乗誤差を最小化するため、各層の線形連想記憶に対してバッチ更新を定式化する。
- 各編集に対してターゲットメモリベクトル z_i を計算し、結果として得られる変化 Delta^l を臨界層に閉形式更新(式(14))を用いて分配する。
- 変更の大きさを最小化し、各層の後で活性化を回収するため、編集を層 L = max(R) にわたって広げる。
- 以前に保存されたキー K^l とメモリ M^l を条件に、正規方程式ベースの更新を解くことでデルタを最適化する(式14)。
- 有効性、一般化、特異性、および流暢さの指標で編集を評価し、ファインチューニングや他のエディタと比較する。
実験結果
リサーチクエスチョン
- RQ1MEMITは大規模言語モデルにおけるメモリ編集を何千もの関連付けへスケールさせることができるか?
- RQ2多数の記憶を同時に編集すると、効果、有効性、一般化、特異性、流暢さのトレードオフはどのように振る舞うか?
- RQ3どのトランスフォーマーの構成要素が記憶想起を媒介し、大量編集の適切なターゲットとなるか?
- RQ4異なるモデルサイズと事実カテゴリにおいて、MEMITはベースライン(FT-W、MEND、ROME)とどのように比較されるか?
主な発見
- MEMITはGPT-J(6B)およびGPT-NeoX(20B)で何千もの記憶の編集に成功する。
- 現実世界の事実(zsRE)の10k編集では、MEMITは最高の Editor Score(50.7)と強い有効性(96.7)および言い換え(89.7)を達成し、適度な特異性(26.6)を示す。
- 大規模編集ではMEMITはベースラインのMENDとROMEを上回り、流暢さを維持しつつ関連性のない事実への bleedover は限定的。
- CounterFactのスケーリングでは、MEMITはベースラインより高い編集スコアと堅牢性(高い有効性と一般化)を達成するが、いくつかの関係は依然として難しい。
- MEMITの実行時間はMENDやFT-Wより長いが、著者らはバッチ処理と最適化の余地を指摘している。
この論文を読む
Nubintのビューアで原文を開き、読みながら気になる箇所をすぐに質問できます。
Nubintでこの論文を読むこのレビューはAIが論文の原文をもとに作成しました。引用する前に原文をご確認ください。