[论文解读] Aging with GRACE: Lifelong Model Editing with Discrete Key-Value Adaptors

Thomas Hartvigsen, Swami Sankaranarayanan+3 more|arXiv (Cornell University)|Nov 20, 2022

Topic Modeling被引用 15

一句话总结

GRACE 是一种终身模型编辑框架，可在无需微调或权重更新的情况下，对预训练语言模型实现数千次连续的、有针对性的编辑。它在潜在空间中使用离散的键值适配器来缓存和检索修正结果，实现了最先进的性能表现，同时保持了极低的性能衰减，并展现出对未见输入的强大泛化能力。

ABSTRACT

Deployed language models decay over time due to shifting inputs, changing user needs, or emergent world-knowledge gaps. When such problems are identified, we want to make targeted edits while avoiding expensive retraining. However, current model editors, which modify such behaviors of pre-trained models, degrade model performance quickly across multiple, sequential edits. We propose GRACE, a lifelong model editing method, which implements spot-fixes on streaming errors of a deployed model, ensuring minimal impact on unrelated inputs. GRACE writes new mappings into a pre-trained model's latent space, creating a discrete, local codebook of edits without altering model weights. This is the first method enabling thousands of sequential edits using only streaming errors. Our experiments on T5, BERT, and GPT models show GRACE's state-of-the-art performance in making and retaining edits, while generalizing to unseen inputs. Our code is available at https://www.github.com/thartvigsen/grace}.

研究动机与目标

• 解决在现实场景中对大规模预训练语言模型进行持续、有针对性编辑的挑战，这些场景下微调不可行。
• 克服在仅存在单个、流式错误实例时，连续编辑导致的性能下降和遗忘问题。
• 开发一种参数高效、与模型无关的方法，以保留原始模型行为，同时支持对事实幻觉和标签偏移的即时修复。
• 通过持久的键值映射代码本，将编辑与模型权重解耦，实现透明、可追溯的编辑过程。
• 建立终身模型编辑的基准和度量标准，该问题设置此前研究较少。

提出的方法

• GRACE 在预训练 Transformer 模型的选定层中引入一个即插即用的适配器，通过修改层间变换来实现编辑，而无需更改模型的冻结权重。
• 它缓存被标记错误的输入嵌入，并学习对应的值向量，使其映射到期望的模型输出，从而形成一个离散的编辑代码本。
• 编辑仅应用于缓存键周围 epsilon 球范围内的输入，通过潜在空间中的语义相似性确保局部性和泛化能力。
• 该方法随时间动态管理 epsilon 球的大小，以在即时修正与长期保留先前编辑之间取得平衡。
• GRACE 具有极低的推理开销，且兼容自回归与非自回归模型。
• 代码本完全可检查，支持可审计性和透明性——这与掩盖修改痕迹的权重编辑方法形成鲜明对比。

实验结果

研究问题

• RQ1 一种模型编辑方法是否能在不进行微调或权重更新的情况下，维持数千次连续编辑的性能？
• RQ2 一种方法在避免对单个样本的过度记忆的前提下，能否有效泛化到未见输入？
• RQ3 在真实部署场景中，该方法能否在纠正事实幻觉和标签偏移方面实现高准确率？
• RQ4 当仅能获取单个孤立错误实例进行编辑时，该方法表现如何？
• RQ5 该方法在保持原始模型能力的同时，能否在长序列编辑中实现可扩展性，并最小化推理成本？

主要发现

• 在 T5、BERT 和 GPT 模型上，针对问答、文档分类和语言生成任务，GRACE 在终身编辑任务中优于七种最先进的基线方法。
• GRACE 在先前已编辑输入上保持了高性能，并能泛化到未见输入，避免了过拟合和记忆化现象。
• 该方法在长达约 5,000 次编辑的序列中表现出稳定性能，证明了其在长期部署场景中的鲁棒性。
• 由于在潜在空间中实现了高效的相似度搜索，GRACE 即使在长序列编辑下，也仅带来微小且一次性的推理时间开销。
• 该方法能有效泛化到新输入，编辑基于语义相似性而非精确的输入匹配来应用。
• GRACE 的代码本透明且可检查，支持编辑的可追溯性——这与掩盖修改痕迹的基于权重的编辑方法形成鲜明对比。