[论文解读] Knowledge Unlearning for LLMs: Tasks, Methods, and Challenges

Nianwen Si, Hao Zhang+4 more|arXiv (Cornell University)|Nov 27, 2023

Topic Modeling被引用 4

一句话总结

本综述介绍了大语言模型（LLMs）中的知识遗忘技术，提出了一种高效移除有害或错误知识的框架，而无需对整个模型进行微调。该方法将现有技术分为参数优化、参数融合和上下文学习三类，实证表明，有针对性的遗忘机制可在保留无关知识的同时，减轻恶意或错误输出的风险。

ABSTRACT

In recent years, large language models (LLMs) have spurred a new research paradigm in natural language processing. Despite their excellent capability in knowledge-based question answering and reasoning, their potential to retain faulty or even harmful knowledge poses risks of malicious application. The challenge of mitigating this issue and transforming these models into purer assistants is crucial for their widespread applicability. Unfortunately, Retraining LLMs repeatedly to eliminate undesirable knowledge is impractical due to their immense parameters. Knowledge unlearning, derived from analogous studies on machine unlearning, presents a promising avenue to address this concern and is notably advantageous in the context of LLMs. It allows for the removal of harmful knowledge in an efficient manner, without affecting unrelated knowledge in the model. To this end, we provide a survey of knowledge unlearning in the era of LLMs. Firstly, we formally define the knowledge unlearning problem and distinguish it from related works. Subsequently, we categorize existing knowledge unlearning methods into three classes: those based on parameter optimization, parameter merging, and in-context learning, and introduce details of these unlearning methods. We further present evaluation datasets used in existing methods, and finally conclude this survey by presenting the ongoing challenges and future directions.

研究动机与目标

• 解决大语言模型保留有害或错误知识所带来的风险，这些知识可能导致恶意或偏见输出。
• 克服在大规模大语言模型中为删除知识而进行完整微调的不切实际性。
• 系统性地对大语言模型背景下现有的知识遗忘方法进行分类与分析。
• 提供评估基准，并识别该领域未来研究的开放性挑战。

提出的方法

• 正式定义知识遗忘问题，将其与数据提取和模型蒸馏等相关概念区分开来。
• 将遗忘方法分为三类：参数优化（例如，使用遗忘信号进行微调）、参数融合（例如，将模型权重与遗忘更新相结合），以及上下文学习（例如，基于提示的遗忘方法，无需修改模型权重）。
• 基于知识移除机制及其对模型参数的影响，提出一种遗忘技术的分类体系。
• 引入用于在不同方法间基准化遗忘性能的评估数据集。
• 分析遗忘有效性、模型在无关任务上的准确性以及计算效率之间的权衡。
• 强调保留与遗忘数据无关的事实知识的重要性，以确保遗忘后模型的实用性。

实验结果

研究问题

• RQ1 在大语言模型背景下，知识遗忘的定义是什么？它与模型蒸馏或数据提取等相关任务有何不同？
• RQ2 参数优化、参数融合和上下文学习方法在从大语言模型中移除特定有害或错误知识方面的有效性如何？
• RQ3 在不损害模型在无关、非目标知识上的性能的前提下，遗忘能在多大程度上实现？
• RQ4 目前用于评估大语言模型中遗忘有效性的评估基准和指标有哪些？
• RQ5 在不同大语言模型架构和数据集之间，知识遗忘方法的可扩展性与泛化性方面，存在哪些关键挑战和开放性问题？

主要发现

• 通过有针对性的方法实现大语言模型中的知识遗忘是可行的，可避免完整微调，显著降低计算成本。
• 参数优化方法表现出较强的遗忘性能，但若未进行仔细正则化，存在对遗忘样本过拟合的风险。
• 参数融合技术能更好地保留通用知识，且相比基于微调的方法更具鲁棒性。
• 上下文学习提供了一种无参数的遗忘解决方案，但其有效性受限于特定的提示设计，且在不同知识类型之间可能缺乏泛化能力。
• 知识遗忘的评估基准尚在发展中，不同数据集和指标之间缺乏标准化。
• 一个关键挑战仍是平衡遗忘的有效性与无关事实知识的保留，尤其是在高参数量模型中。