[论文解读] A Rank Stabilization Scaling Factor for Fine-Tuning with LoRA
该论文提出 rsLoRA,一种对 LoRA 适配器的秩稳定缩放因子 gamma_r ~ 1/sqrt(r),证明并验证该缩放在较高的适配器秩下可避免梯度崩溃,并在不增加推理成本的情况下实现更高秩的微调性能。
As large language models (LLMs) have become increasingly compute and memory intensive, parameter-efficient fine-tuning (PEFT) methods are now a common strategy to fine-tune LLMs. A popular PEFT method is Low-Rank Adapters (LoRA), which adds trainable low-rank "adapters" to selected layers. Each adapter consists of a low-rank matrix product, multiplicatively scaled by a rank-dependent factor. This scaling factor, which divides adapters by a factor of the rank, results in slowed learning and stunted performance for LoRA with higher-rank adapters. Consequently, the use of LoRA in practice has generally been limited to very low ranks. In this work, we study the impact of the scaling factor on the learning process and prove that LoRA adapters should be divided by a factor of the square root of the rank. Modifying LoRA with the appropriate scaling factor, which we call the rank-stabilized LoRA (rsLoRA) method, easily provides for a fine-tuning compute/performance trade-off, where larger ranks can be used to trade off increased computational resources during training for better fine-tuning performance, with no change in inference computing cost.
研究动机与目标
- 为大型语言模型的参数高效微调(PEFT)提供动力,并解决 LoRA 适配器的放缩问题。
- 推导一个理论上有据可依的缩放因子,使学习在不同的适配器秩上保持稳定。
- 通过实验证明 rsLoRA 能在提高秩的同时实现更好的微调性能并保持训练稳定。
- 证明在不增加推理成本的前提下,可以利用更高的适配器秩。
- 提出将 rsLoRA 与现有的动态秩 PEFT 方法结合的方向。
提出的方法
- 将模型适配器表示为秩为 r 的矩阵 BA,并带有缩放 gamma_r。
- 通过对激活值和梯度的梯的两条稳定性条件定义秩稳定的适配器。
- 证明 gamma_r 必须按 Theta(1/sqrt(r)) 进行缩放以实现跨秩的稳定性(定理 3.2)。
- 将所得技术命名为 rank-stabilized LoRA (rsLoRA)。
- 通过在 20k 个 OpenOrca 指令上微调 Llama 2 7B,比较 LoRA 与 rsLoRA,在秩 r 取值为 {4,8,32,128,512,2048} 时,跟踪困惑度和梯度范数,进行经验比较。
- 对模型、数据集、优化器(AdamW、SGD、Adafactor)以及适配器放置(注意力/ MLP)进行消融研究。
- 表明在 rsLoRA 下较高的秩会带来更好的性能,同时保持稳定的梯度范数,与标准 LoRA 不同。
实验结果
研究问题
- RQ1秩稳定缩放 gamma_r ~ 1/sqrt(r) 是否能在任意大秩的适配器下确保稳定学习?
- RQ2随着适配器秩的增加,rsLoRA 相较于传统 LoRA 在微调性能方面的对比如何?
- RQ3rsLoRA 是否能够在不增加推理成本的情况下解锁更高秩适配器的好处?
- RQ4rsLoRA 的观察结果是否对模型、数据集和优化器的变化具有鲁棒性?
主要发现
- 采用常规缩放 gamma_r = alpha/r 的 LoRA 在大秩下会出现梯度坍缩,限制性能提升。
- rsLoRA 在 Theta(1/sqrt(r)) 的 gamma_r 下实现了秩稳定学习并在各秩上维持梯度幅值。
- 实证结果显示 rsLoRA 在较高秩下实现了更好的微调性能,而 LoRA 的性能随秩的增加保持不变或下降。
- rsLoRA 下的梯度范数在各秩之间大致稳定,而 LoRA 在较高秩下出现梯度坍缩。
- 该方法提供了一个计算/性能权衡:较大秩提升微调性能而不改变推理成本。
- 消融研究表明这些发现可在不同模型、数据集、优化器和适配器放置中推广。
阅读本论文
在 Nubint 阅读器中打开原文,边读边就任意段落提问。
在 Nubint 中阅读本论文本解读由 AI 根据论文原文生成,引用前请核对原文。