[论文解读] Composing Parameter-Efficient Modules with Arithmetic Operations

Jinghan Zhang, Shiqi Chen+2 more|arXiv (Cornell University)|Jun 26, 2023

Natural Language Processing Techniques被引用 4

一句话总结

本文提出了一种无需训练的方法，通过在权重空间中进行线性算术运算（加法与取反）来组合参数高效模块（PEMs），从而实现预训练PEMs中技能的灵活集成，适用于分布泛化、多任务学习、遗忘学习和领域迁移。该方法在所有设置下均实现了最先进性能，且无需额外微调，包括在净化Alpaca-LoRA时将毒性降低50%以上。

ABSTRACT

As an efficient alternative to conventional full finetuning, parameter-efficient finetuning (PEFT) is becoming the prevailing method to adapt pretrained language models. In PEFT, a lightweight module is learned on each dataset while the underlying pretrained language model remains unchanged, resulting in multiple compact modules representing diverse skills when applied to various domains and tasks. In this paper, we propose to compose these parameter-efficient modules through linear arithmetic operations in the weight space, thereby integrating different module capabilities. Specifically, we first define addition and negation operators for the module, and then further compose these two basic operators to perform flexible arithmetic. Our approach requires \emph{no additional training} and enables highly flexible module composition. We apply different arithmetic operations to compose the parameter-efficient modules for (1) distribution generalization, (2) multi-tasking, (3) unlearning, and (4) domain transfer. Additionally, we extend our approach to detoxify Alpaca-LoRA, the latest instruction-tuned large language model based on LLaMA. Empirical results demonstrate that our approach produces new and effective parameter-efficient modules that significantly outperform existing ones across all settings.

研究动机与目标

• 为了实现对预训练参数高效模块（PEMs）的灵活、无需训练的组合，以适应各种下游任务。
• 为了解决在不重新训练的情况下组合具备不同能力的PEMs（如多任务学习、分布泛化、遗忘学习和领域迁移）的挑战。
• 将PEM组合方法扩展至LLaMA等现代大语言模型，包括模型净化等实际应用。
• 探究在PEM参数上使用线性算术运算是否能相比现有组合方法取得更优性能。
• 评估在不同初始化方案和超参数设置下，PEM组合的鲁棒性。

提出的方法

• 为LoRA和(IA)3 PEM架构定义加法与取反运算符，以实现在参数空间中的线性算术组合。
• 通过加权线性组合（如α·PEM₁ + β·PEM₂）组合PEMs以融合技能，其中β = -1用于遗忘学习。
• 直接在已学习的适配器矩阵上应用组合操作，无需重新训练基础模型或PEMs。
• 使用超参数λ控制源PEMs之间的平衡，通过验证性能进行调优。
• 通过组合一个有毒PEM与一个中性PEM，将方法扩展至Alpaca-LoRA的净化任务。
• 在四个设置下验证该方法：分布泛化、多任务学习、遗忘学习和领域迁移，使用标准NLP基准数据集。

实验结果

研究问题

• RQ1 在不重新训练的情况下，对PEM参数进行线性算术运算是否能有效组合多样化的模型能力？
• RQ2 与基线方法相比，通过加法与取反实现的PEM组合在多任务学习和分布泛化中的表现如何？
• RQ3 能否利用PEM组合来遗忘特定模型行为，例如生成有害输出？
• RQ4 PEM组合对模型初始化和超参数变化的鲁棒性如何？
• RQ5 在保持非有害输入性能的同时，PEM组合能否有效净化像Alpaca-LoRA这样的大型指令微调大语言模型，同时显著降低毒性？

主要发现

• 所提出的方法在所有四个设置下（分布泛化、多任务学习、遗忘学习和领域迁移）均实现了显著的性能提升，且无需任何额外训练。
• 在领域迁移任务中，合并后的PEM在Yelp和Amazon数据集上均优于单个PEM，平均性能提升分别为+1.65%（相同初始化）和+1.18%（不同初始化）。
• 在Alpaca-LoRA的净化任务中，合并后的PEM将毒性得分降低了50%以上（从0.321降至0.158），同时保持或提升了有用性和胜率。
• 人工评估显示，在有害指令上的胜率为36%，在正常指令上为27%，且平局率较高（分别为40%和42%），表明与人类偏好高度对齐。
• 即使PEMs使用不同的随机种子初始化，合并后的模型仍保持了强劲性能，表明对初始化差异具有鲁棒性。
• 该方法在显著降低毒性的同时，成功保留了在非有害输入上的性能，证明了对有害行为的有效遗忘。