[论文解读] FeDeRA:Efficient Fine-tuning of Language Models in Federated Learning Leveraging Weight Decomposition

Yuxuan Yan, Qian‐Qian Yang+2 more|arXiv (Cornell University)|Apr 29, 2024

Privacy-Preserving Technologies in Data被引用 4

一句话总结

FeDeRA 提出了一种用于大语言模型的新型联邦微调方法，通过奇异值分解（SVD）初始化 LoRA 适配器模块，在非独立同分布（non-IID）数据分布下显著提升性能。该方法在边缘设备上实现接近全参数微调的准确率，同时将训练时间相比全参数微调减少高达 97.9%。

ABSTRACT

Despite their exceptional performance on various tasks after fine-tuning, pre-trained language models (PLMs) face significant challenges due to growing privacy concerns with data in centralized training methods. We consider federated learning (FL) to fine-tune PLMs in this paper. However, the substantial number of parameters in PLMs poses significant difficulties for client devices with limited communication and computational resources. One promising solution is to exploit parameter-efficient fine-tuning (PEFT) into FL, which trains a much smaller set of parameters than full parameter fine-tuning (FFT). Although remarkably improving training efficiency, PEFT methods may lead to degraded performance especially when data across different clients are non i.i.d, as revealed by experimental results. To overcome this, we propose FeDeRA, which extends and improves a widely used PEFT method, i.e., low-rank adaption (LoRA). FeDeRA follows LoRA by decomposing the weight matrices of the PLMs into low-rank matrices, which allows for more efficient computation and parameter updates during fine-tuning. Different from LoRA which simply initializes these low-rank matrices by random sampling or zeros, the proposed FeDeRA initializes these matrices by the results of performing singular value decomposition (SVD) on the pre-trained weight matrices. Extensive experiments across various tasks and datasets show that FeDeRA outperforms the considered PEFT baselines and is comparable to or even surpasses FFT method within the FL setting in terms of task performance. Moreover, FeDeRA requires only 1% trainable paramentes compared to FFT, significantly reducing training time costs by more than 90% to achieve the same task performance level. The experimental results also highlight the robustness of FeDeRA against data heterogeneity, as it maintains stable task performance even as data heterogeneity increases.

研究动机与目标

• 解决参数高效微调（PEFT）方法（如 LoRA）在联邦学习中因非独立同分布（non-IID）数据分布导致的性能下降问题。
• 降低大规模预训练语言模型（PLMs）在联邦微调中的通信与计算开销。
• 在最小化可训练参数数量和训练时间的同时，保持与全参数微调（FFT）相当的高模型准确率。
• 实现在资源受限的边缘设备（如 Jetson AGX Orin）上高效、隐私保护的微调。

提出的方法

• FeDeRA 通过对预训练权重矩阵执行奇异值分解（SVD），并选择主成分作为初始适配器权重，来初始化 LoRA 适配器模块。
• 该方法保留并冻结原始预训练权重，仅在微调过程中更新由 SVD 衍生的适配器组件。
• 适配器模块结构与 LoRA 保持一致，确保计算和内存开销极低。
• SVD 仅在初始化阶段执行一次，与完整训练相比，额外开销可忽略不计。
• 该方法被集成到联邦学习框架中，客户端本地训练并仅向服务器发送适配器参数以进行聚合。
• 该方法在 RoBERTa-base 和 DeBERTaV3-base 上针对三个自然语言处理任务、在不同数据异构性水平下进行了评估。

实验结果

研究问题

• RQ1 基于 SVD 的 LoRA 适配器初始化是否能缓解在非独立同分布（non-IID）数据分布下联邦微调中的性能下降？
• RQ2 在联邦设置下，FeDeRA 与全参数微调（FFT）相比，在模型准确率和训练效率方面表现如何？
• RQ3 与 FFT 及其他 PEFT 方法相比，FeDeRA 在边缘设备上能将通信和训练时间减少多少？
• RQ4 SVD 初始化是否能提升在数据异构的联邦学习中的收敛速度和最终性能？

主要发现

• FeDeRA 在所有其他 PEFT 方法中表现最优，在三个任务和六个数据集上均达到与全参数微调（FFT）相当或更优的性能。
• 在 RoBERTa-base 上，FeDeRA 相较于 FFT，分别在三个数据集上将训练时间减少 95.9%、97.9% 和 96.9%，以达到目标准确率的 99%。
• 在 DeBERTaV3-base 上，FeDeRA 在相同准确率目标下，相较 FFT 将训练时间减少 97.3%、96.5% 和 96.5%。
• SVD 初始化步骤仅带来可忽略的一次性开销，因其仅在模型初始化阶段执行，不涉及训练过程。
• 在使用 Jetson AGX Orin 设备的真实联邦实验中，FeDeRA 实现了所有方法中最短的训练时间，同时保持了高准确率。
• FeDeRA 有效缓解了数据异构性导致的性能差距，在非独立同分布（non-IID）设置下优于标准 LoRA 及其他 PEFT 方法。