[论文解读] Federated Fine-tuning of Large Language Models under Heterogeneous Tasks and Client Resources

Jiamu Bai, Daoyuan Chen+3 more|arXiv (Cornell University)|Feb 18, 2024

Topic Modeling被引用 4

一句话总结

该论文提出了一种名为 FlexLoRA 的新型联邦微调框架，用于大型语言模型，可根据客户端资源动态调整本地 LoRA 秩，从而充分利用异构客户端的计算能力。通过基于 SVD 的重新分配方法聚合完整大小的 LoRA 权重，FlexLoRA 提升了全局模型的泛化能力，在超过 1,600 个具有多样化任务和资源的客户端上，使下游 NLP 任务的平均性能提升了最高达 3.1%。

ABSTRACT

Federated Learning (FL) has recently been applied to the parameter-efficient fine-tuning of Large Language Models (LLMs). While promising, it raises significant challenges due to the heterogeneous resources and data distributions of clients. This study introduces FlexLoRA, a simple yet effective aggregation scheme for LLM fine-tuning, which mitigates the ``bucket effect'' in traditional FL that restricts the potential of clients with ample resources by tying them to the capabilities of the least-resourced participants. FlexLoRA allows for dynamic adjustment of local LoRA ranks, fostering the development of a global model imbued with broader, less task-specific knowledge. By synthesizing a full-size LoRA weight from individual client contributions and employing Singular Value Decomposition (SVD) for weight redistribution, FlexLoRA fully leverages heterogeneous client resources. Involving thousands of clients performing heterogeneous NLP tasks and client resources, our experiments validate the efficacy of FlexLoRA, with the federated global model achieving consistently better improvement over SOTA FL methods in downstream NLP task performance across various heterogeneous distributions. FlexLoRA's practicality is further underscored by our theoretical analysis and its seamless integration with existing LoRA-based FL methods, offering a path toward cross-device, privacy-preserving federated tuning for LLMs.

研究动机与目标

• 为解决联邦学习中的‘短板效应’，即低资源客户端限制了全局模型性能，尽管高资源客户端仍存在未使用的计算容量。
• 通过使资源丰富的客户端贡献更高秩的 LoRA 适配器，提升联邦 LLM 的泛化能力，减少特定任务的过拟合。
• 设计一种简单、即插即用的聚合方案，兼容现有的基于 LoRA 的联邦学习方法，从而充分挖掘异构客户端的资源潜力。
• 为动态秩调整和基于 SVD 的权重重分配在提升全局模型性能方面的有效性提供理论依据和实证验证。

提出的方法

• FlexLoRA 根据客户端可用的计算和内存资源，动态为其分配本地 LoRA 秩，使高资源客户端可使用更大的秩。
• 在聚合前，从各客户端的贡献中构建一个完整大小的 LoRA 权重矩阵，避免直接对参数进行平均。
• 应用奇异值分解（SVD）对全局 LoRA 权重进行重分配，实现对不同秩贡献的有效融合。
• 该方法可无缝集成到现有的基于 LoRA 的联邦学习框架（如 FedAvg 和 FedIT）中，无需架构修改即可增强其性能。
• 提供了理论分析，支持该方法在异构数据和资源分布下的泛化优势。
• 在包含超过 1,600 个客户端、执行多样化 NLP 任务的大规模跨设备联邦学习仿真中对框架进行了评估。

实验结果

研究问题

• RQ1 在客户端资源异构的条件下，动态调整本地 LoRA 秩是否能缓解联邦 LLM 微调中的‘短板效应’？
• RQ2 与标准 FedAvg 或秩约束聚合相比，基于 SVD 的完整大小 LoRA 权重重分配在多大程度上能提升全局模型的泛化能力？
• RQ3 FlexLoRA 在具有不同任务特异性和数据异构性的多样化 NLP 任务中表现如何？
• RQ4 FlexLoRA 是否能有效集成到现有的基于 LoRA 的联邦学习基线方法中，而不会影响收敛性或需要重新训练？
• RQ5 在联邦设置中，更高秩的本地 LoRA 更新对零样本泛化能力和下游任务性能有何影响？

主要发现

• 与标准 FedAvg 和 FedIT 基线相比，FlexLoRA 在下游 NLP 任务性能上实现了最高达 3.1% 的平均提升。
• 该方法在零样本 Rouge-L 分数上提升了 4%，在重叠抽取和文本蕴含任务中最高提升了 4%。
• 在需要对句子关系进行推理的任务中，FlexLoRA 分别实现了最高 4% 和 2.5% 的性能提升，凸显其在泛化能力方面的优势。
• 当仅使用前 30 个奇异值时，基于 SVD 的近似误差比仅为 0.16，证实了重分配权重的保真度。
• 在同质高秩设置下，FlexLoRA 的性能与 FedIT 非常接近，验证了其在受控条件下的有效性。
• 实证结果表明，FlexLoRA 在同质条件下与标准方法保持性能相当，而在异质条件下显著优于它们。