[论文解读] MEMORYLLM: Towards Self-Updatable Large Language Models

Yu Wang, Gao, Yifan+10 more|arXiv (Cornell University)|Feb 7, 2024

Topic Modeling被引用 4

一句话总结

MemoryLLM 引入了一种具有固定大小记忆池的自更新大型语言模型，该记忆池嵌入在 Transformer 的潜在空间中，实现了无需性能下降的知识高效注入与长期保留。在近一百万次更新后，该模型仍保持功能完整，并在模型编辑和长上下文推理任务中优于基线模型。

ABSTRACT

Existing Large Language Models (LLMs) usually remain static after deployment, which might make it hard to inject new knowledge into the model. We aim to build models containing a considerable portion of self-updatable parameters, enabling the model to integrate new knowledge effectively and efficiently. To this end, we introduce MEMORYLLM, a model that comprises a transformer and a fixed-size memory pool within the latent space of the transformer. MEMORYLLM can self-update with text knowledge and memorize the knowledge injected earlier. Our evaluations demonstrate the ability of MEMORYLLM to effectively incorporate new knowledge, as evidenced by its performance on model editing benchmarks. Meanwhile, the model exhibits long-term information retention capacity, which is validated through our custom-designed evaluations and long-context benchmarks. MEMORYLLM also shows operational integrity without any sign of performance degradation even after nearly a million memory updates. Our code and model are open-sourced at https://github.com/wangyu-ustc/MemoryLLM.

研究动机与目标

• 为了解决在部署后更新大型语言模型新知识的挑战，现有方法存在冗余、上下文过载或性能下降的问题。
• 设计一种模型，可在无需反向传播或大量微调的情况下，高效整合新知识。
• 通过渐进遗忘过时信息的同时保持模型完整性，实现长期知识保留。
• 即使在近百万次记忆更新后，仍保持模型性能并避免性能退化。
• 通过使用紧凑的固定大小记忆池，高效压缩并存储知识，从而减少知识冗余。

提出的方法

• MemoryLLM 在每个 Transformer 层的潜在空间中集成了一个固定大小的记忆池，利用可学习的记忆标记来表示压缩后的知识。
• 该模型采用自更新机制，将新知识传播至所有层，每一步仅更新一部分记忆标记，以实现渐进遗忘。
• 知识注入无需反向传播，依赖对记忆池的直接参数更新，以提升效率。
• 记忆池经过训练，可存储和检索知识，模型在推理过程中通过注意力机制动态关注相关记忆标记。
• 该架构将持久知识（由基础 LLM 参数建模）与可更新知识（存储在记忆池中）分离，实现针对性更新。
• 通过精心设计的训练过程，确保记忆更新不会破坏模型原有能力，维持运行完整性。

(a) Generation

实验结果

研究问题

• RQ1 大型语言模型能否通过自更新记忆机制有效整合新知识，而无需反向传播？
• RQ2 在多次更新后，该模型对先前学习知识的保留程度如何？遗忘率是多少？
• RQ3 与现有方法相比，记忆池在支持长上下文推理和模型编辑任务方面的能力如何？
• RQ4 在经历极大量的记忆更新（如近一百万步）后，模型是否仍能保持性能和功能？
• RQ5 与传统检索或长上下文方法相比，固定大小的记忆池是否能更紧凑地存储知识并减少冗余？

主要发现

• MemoryLLM 在模型编辑基准测试中表现强劲，展示了无需微调或反向传播即可高效、有效地整合新事实的能力。
• 该模型在长上下文问答任务中保持了高准确率，表明即使在大量更新后仍具备强大的知识保留能力。
• 在近一百万次记忆更新步骤后，MemoryLLM 未表现出可观察到的性能退化，证实了其运行完整性。
• 通过自定义设计的保留评估和长上下文基准测试，验证了模型在知识保留方面实现了显著提升。
• 记忆池实现了知识的有效压缩，与传统基于检索或长上下文的方法相比，显著减少了冗余。
• 自更新机制实现了对过时知识的渐进遗忘，同时保留了先前存储的信息，确保了长期实用性。

(b) Self-Update