[论文解读] Federated Large Language Models: Current Progress and Future Directions

Yuhang Yao, Jianyi Zhang+12 more|arXiv (Cornell University)|Sep 24, 2024

Topic Modeling被引用 4

一句话总结

本综述全面概述了联邦大语言模型（FedLLMs），重点关注联邦微调和提示学习领域的最新进展。它识别出关键挑战，如数据与模型异构性、通信效率和隐私问题，同时提出未来研究方向，包括联邦预训练、设备端推理以及利用大语言模型生成合成联邦学习数据。

ABSTRACT

Large language models are rapidly gaining popularity and have been widely adopted in real-world applications. While the quality of training data is essential, privacy concerns arise during data collection. Federated learning offers a solution by allowing multiple clients to collaboratively train LLMs without sharing local data. However, FL introduces new challenges, such as model convergence issues due to heterogeneous data and high communication costs. A comprehensive study is required to address these challenges and guide future research. This paper surveys Federated learning for LLMs (FedLLM), highlighting recent advances and future directions. We focus on two key aspects: fine-tuning and prompt learning in a federated setting, discussing existing work and associated research challenges. We finally propose potential directions for federated LLMs, including pre-training, federated agents, and LLMs for federated learning.

研究动机与目标

• 为医疗和金融等数据敏感领域中日益增长的隐私保护大语言模型训练需求提供解决方案。
• 识别并分析联邦微调与提示学习中的关键挑战，包括数据/模型异构性、通信成本及安全威胁。
• 对联邦大语言模型（FedLLM）中近期方法进行系统性综述，重点关注参数效率、收敛稳定性与框架设计。
• 探索新兴研究方向，如联邦预训练、设备端推理，以及利用大语言模型生成联邦学习合成数据。
• 通过突出可扩展性、伦理化部署以及大语言模型与联邦学习流程集成中的开放问题，为未来研究提供指导。

提出的方法

• 系统性地综述联邦微调与提示学习领域的近期工作，按其对数据/模型异构性、隐私与效率的处理方式进行分类。
• 根据其在参数高效微调（如LoRA、适配器）和通信优化技术（如量化、稀疏化）中的应用对方法进行分类。
• 回顾跨孤岛与跨设备联邦学习框架，包括FedRDMA、OpenFedLLM和FederatedScope-LLM，以评估其可扩展性与实际适用性。
• 分析评估基准（如FedLLM-Bench和Profit）以及收敛性分析工具（如FedPEAT和FedMeZO），以评估模型稳定性。
• 提出新方向，包括结合模型压缩的联邦预训练与全分片数据并行，探索大语言模型作为联邦学习合成数据生成器的潜力。
• 研究利用大语言模型通过知识蒸馏、提示工程与能力增强来提升联邦学习性能，以改善在数据有限情况下的收敛性与表现。

实验结果

研究问题

• RQ1 在数据与模型异构性条件下，如何实现联邦大语言模型微调的高效性与鲁棒性？
• RQ2 哪些技术能够实现在联邦设置下隐私保护、安全且通信高效的大型语言模型训练？
• RQ3 如何将LoRA和适配器等参数高效方法适配于联邦大语言模型，以在降低计算开销的同时保持性能？
• RQ4 在硬件与数据资源有限的情况下，联邦大语言模型预训练面临的主要挑战与机遇是什么？
• RQ5 如何利用大语言模型生成合成数据，或通过知识蒸馏与提示工程提升联邦学习性能？

主要发现

• 通过知识蒸馏与基于适配器的正则化，联邦大语言模型中的数据异构性得到缓解，如FedDAT与RaFFM所展示。
• 通过模型压缩、稀疏化与量化技术，通信效率显著提升，如CEFHRi与FedKSeed等方法大幅降低了带宽使用。
• 参数高效微调技术（如LoRA与SLoRA）可在极低计算开销下实现高性能，使资源受限设备上的部署成为可能。
• 通过全分片数据并行与模型压缩，联邦预训练正变得可行，显著降低了内存与通信成本。
• 大语言模型可生成高质量合成数据，提升泛化能力并缓解数据稀缺问题，但需谨慎管理以避免隐私泄露。
• 合成数据生成中的伦理与法律风险需通过稳健框架加以防范，以避免数据泄露与知识产权侵权，尤其在受监管领域。