[论文解读] IncreLoRA: Incremental Parameter Allocation Method for Parameter-Efficient Fine-tuning

Feiyu Zhang, Liangzhi Li+4 more|arXiv (Cornell University)|Aug 23, 2023

Topic Modeling被引用 6

一句话总结

IncreLoRA 提出了一种用于参数高效微调的增量参数分配方法，该方法根据模块重要性评分在训练过程中动态提升 LoRA 模块的秩，从而在无需初始参数过度承诺的情况下实现更高的秩上限。通过采用先进学习和重启预热策略，该方法稳定了训练过程并提升了正交性，从而在低资源设置下实现了更优的性能表现。

ABSTRACT

With the increasing size of pre-trained language models (PLMs), fine-tuning all the parameters in the model is not efficient, especially when there are a large number of downstream tasks, which incur significant training and storage costs. Many parameter-efficient fine-tuning (PEFT) approaches have been proposed, among which, Low-Rank Adaptation (LoRA) is a representative approach that injects trainable rank decomposition matrices into every target module. Yet LoRA ignores the importance of parameters in different modules. To address this problem, many works have been proposed to prune the parameters of LoRA. However, under limited training conditions, the upper bound of the rank of the pruned parameter matrix is still affected by the preset values. We, therefore, propose IncreLoRA, an incremental parameter allocation method that adaptively adds trainable parameters during training based on the importance scores of each module. This approach is different from the pruning method as it is not limited by the initial number of training parameters, and each parameter matrix has a higher rank upper bound for the same training overhead. We conduct extensive experiments on GLUE to demonstrate the effectiveness of IncreLoRA. The results show that our method owns higher parameter efficiency, especially when under the low-resource settings where our method significantly outperforms the baselines. Our code is publicly available.

研究动机与目标

• 解决固定秩 LoRA 在参数高效微调中因均匀分配秩而导致的低效问题，该问题忽略了模块间的特定重要性差异。
• 克服结构化剪枝方法的局限性，即最终秩受初始预设值的限制，从而导致参数利用不充分。
• 通过在训练过程中实现自适应、渐进式的秩扩展，提升低资源条件下的参数效率和模型性能。
• 通过一种新颖的先进学习技术与重启预热策略，稳定新添加参数的训练过程，以增强收敛性与正交性。

提出的方法

• 引入一种增量参数分配机制，根据模块重要性评分在训练过程中动态提升 LoRA 模块的秩。
• 通过称为“先进学习”的预训练阶段重构 LoRA 的低秩矩阵，以有利的初始状态初始化新添加的参数。
• 为新添加的参数组应用独立的学习率调度与重启预热策略，以减少训练不稳定性。
• 对低秩矩阵 A 和 B 施加正交性正则化，以提升参数效率与模型稳定性。
• 采用动态秩分布策略，使高秩模块能够突破初始约束，这与基于剪枝的方法形成对比。
• 在不同方法间使用共享的 SVD 类似参数化方式与正则化项，以确保对秩分布影响的公平比较。

实验结果

研究问题

• RQ1 与固定秩或剪枝 LoRA 方法相比，训练过程中进行增量秩分配是否能提升参数效率？
• RQ2 所提出的先进学习技术是否能增强新添加 LoRA 参数的收敛性与正交性？
• RQ3 LoRA 模块的秩分布如何影响模型性能，尤其是在低资源微调条件下？
• RQ4 当动态向 LoRA 模块添加可训练参数时，重启预热是否能提升训练稳定性？
• RQ5 在准确率与参数效率方面，动态秩分配在多大程度上优于静态或剪枝的秩分配？

主要发现

• 在低资源设置下，IncreLoRA 在 RTE 任务上相比 AdaLoRA 实现了 1.81% 的准确率提升，在 STS-B 任务上实现了 1.08% 的提升。
• 该方法在 GLUE 基准测试中显著优于基线 LoRA 和 AdaLoRA，尤其在低参数规模场景下表现突出。
• 当使用相同的超参数重新训练时，IncreLoRA 的秩分布带来的模型性能优于 AdaLoRA，表明其动态分配策略更具优势。
• 先进学习通过加速向正交性收敛，显著降低了正交性正则化损失，从而提升了参数效率。
• 重启预热策略稳定了新添加参数的训练过程，减少了方差并提升了最终性能。
• IncreLoRA 的秩分布更集中于关键模块（如 Wv、Wo、Wf1），确保在低资源条件下关键组件仍能保持高秩。