Skip to main content
QUICK REVIEW

[论文解读] Mass-Editing Memory in a Transformer

Kevin Meng, Arnab Sen Sharma|arXiv (Cornell University)|Oct 13, 2022
Topic ModelingComputer Science被引用 53
一句话总结

MEMIT 通过更新一系列基于 MLP 的记忆层,直接在语言模型中更新数千条记忆,规模超过以往方法,并保持泛化性、特异性与流畅性。

ABSTRACT

Recent work has shown exciting promise in updating large language models with new memories, so as to replace obsolete information or add specialized knowledge. However, this line of work is predominantly limited to updating single associations. We develop MEMIT, a method for directly updating a language model with many memories, demonstrating experimentally that it can scale up to thousands of associations for GPT-J (6B) and GPT-NeoX (20B), exceeding prior work by orders of magnitude. Our code and data are at https://memit.baulab.info.

研究动机与目标

  • 目标是直接在模型参数中更新具有大量新记忆的大型语言模型。
  • 确定一个可扩展的变换器层集合,用于中介事实回忆以进行大规模记忆编辑。
  • 开发一种直接参数更新方法,以有控权衡地插入数千条记忆。

提出的方法

  • 确定介导最后一个主体标记 S 的中层 MLP 的关键路径 l ∈ R,用于事实回忆。
  • 将每一层的线性联想记忆形成一批更新,以最小化平方误差同时保留现有记忆。
  • 计算每次编辑的目标记忆向量 z_i,并使用闭式更新(式(14))将结果变化 Delta^l 分配到关键层。
  • 将编辑分散到层 L = max(R),以最小化变化幅度并在每层后重新记忆激活。
  • 通过求解一个基于法线方程的更新来优化增量,条件是先前存储的键 K^l 和记忆 M^l(式14)。
  • 用效能、泛化、特异性和流畅性等度量评估编辑,并与微调及其他编辑器比较。

实验结果

研究问题

  • RQ1MEMIT 能否将记忆编辑扩展到大型语言模型中的数千条关联?
  • RQ2当同时编辑大量记忆时,效能、泛化、特异性和流畅性权衡如何表现?
  • RQ3哪些变换器组件介导记忆回忆,适合用于批量编辑的目标?
  • RQ4在不同模型规模和事实类别下,MEMIT 相较基线(FT-W、MEND、ROME)的表现如何?

主要发现

  • MEMIT 在 GPT-J(6B)和 GPT-NeoX(20B)中成功编辑数千条记忆。
  • 在真实世界事实的 10k 次编辑(zsRE)上,MEMIT 实现最高的编辑者得分(50.7)以及强效性(96.7)和改述(89.7),具有中等特异性(26.6)。
  • MEMIT 在大规模编辑时优于基线 MEND 和 ROME,并在可控的特定性下维持流畅性,同时对不相关事实的“渗透”有限。
  • 在 CounterFact 扩展中,MEMIT 获得比基线更高的编辑分数和鲁棒性(高效性和泛化性),尽管某些关系仍具挑战性。
  • 运行时 MEMIT 相比 MEND 和 FT-W 更长,但作者指出仍有批处理和优化的空间。

阅读本论文

在 Nubint 阅读器中打开原文,边读边就任意段落提问。

在 Nubint 中阅读本论文

本解读由 AI 根据论文原文生成,引用前请核对原文。