[论文解读] Low-Parameter Federated Learning with Large Language Models

Jingang Jiang, Xiangyang Liu+1 more|arXiv (Cornell University)|Jul 26, 2023

Privacy-Preserving Technologies in Data被引用 6

一句话总结

本文提出低参数联邦学习（LP-FL），一种通过使用软标签分配和低秩适应（LoRA）在资源受限的联邦设置中实现大语言模型（LLMs）高效微调的方法。LP-FL在通信和计算成本显著降低的情况下，实现了与全参数联邦学习相当或更优的性能，尤其在少样本情感分析任务中表现突出。

ABSTRACT

We study few-shot Natural Language Understanding (NLU) tasks with Large Language Models (LLMs) in federated learning (FL) scenarios. It is a challenging task due to limited labeled data and communication capacities in FL, especially with mobile devices. Recent studies show LLMs can be prompted to perform few-shot NLU tasks like sentiment analysis and arithmetic reasoning. However, the huge sizes of LLMs result in high computation and communication costs, making classical FL schemes impractical. To address these challenges, we propose Low-Parameter Federated Learning (LP-FL). LP-FL combines few-shot prompt learning from LLMs with efficient communication and federating techniques. Our approach enables federated clients to assign soft labels to unlabeled data using gradually learned knowledge from the global model. Through iterative soft-label assigning, we continually expand the labeled set during the FL process. Additionally, to reduce computation and communication costs, LP-FL utilizes the Low-Rank Adaptation (LoRA) technique for compact learnable parameter construction, efficient local model fine-tuning, and affordable global model federation. LP-FL consistently outperforms Full-Parameter Federated Learning (FP-FL) in sentiment analysis tasks across various FL settings. Its resistance to overfitting allows LP-FL to equal or surpass centralized training in few-shot scenarios.

研究动机与目标

• 解决在标注数据有限且客户端资源受限的联邦学习环境中微调大语言模型（LLMs）的挑战。
• 克服在移动和边缘设备上对LLMs进行全参数微调所带来的高计算和通信成本。
• 开发一种半监督联邦学习框架，通过使用全局模型进行迭代软标签分配来利用未标注数据。
• 通过仅对少量参数子集应用低秩适应（LoRA）进行微调，降低模型复杂度和过拟合风险。
• 在最小化客户端资源使用的同时，实现与全参数联邦学习相当或更优的性能。

提出的方法

• 通过在输入样本后附加任务描述，使用提示学习将LLMs适配到少样本自然语言理解任务中。
• 实施迭代软标签分配：客户端基于全局模型的预测结果，为未标注数据分配概率标签，逐步扩展标注数据集。
• 应用低秩适应（LoRA）仅微调一小部分可学习参数（约30%），而非整个模型参数，从而降低计算和通信开销。
• 仅对低秩适配器执行联邦平均，而非整个模型权重，以实现高效的全局模型聚合。
• 维护一个随客户端更新轮次而演化的全局模型，随着时间推移不断提升软标签质量。
• 采用半监督学习策略，利用模型对未标注数据的预测结果扩展训练集，从而提升泛化能力。

实验结果

研究问题

• RQ1 使用LoRA进行低参数微调是否能够在资源受限设备上实现大语言模型的有效且高效的联邦学习？
• RQ2 来自全局模型的迭代软标签分配在低数据和低通信的联邦学习环境中如何提升模型性能？
• RQ3 通过LoRA降低模型复杂度是否能缓解半监督联邦学习中对噪声或错误软标签的过拟合？
• RQ4 尽管仅微调较少参数，LP-FL是否能在准确率和效率方面优于全参数联邦学习（FP-FL）？
• RQ5 在何种条件下，LP-FL能够实现与集中式训练相当或更优的性能？

主要发现

• 在IMDB（1%和5%标注数据）和Yelp（1%和5%标注数据）数据集上，LP-FL在情感分析任务中始终优于全参数联邦学习（FP-FL）。
• 在IMDB数据集上，1%标注数据条件下，LP-FL准确率达到0.858，高于FP-FL的0.850。
• 在Yelp数据集上，1%标注数据条件下，LP-FL准确率达到0.922，高于FP-FL的0.916。
• 由于模型复杂度降低，LP-FL在标注样本更少的情况下仍能达到或优于全参数集中式训练（FP-CT）的性能，有效减少了过拟合。
• LP-FL相较于FP-FL的性能提升归因于对噪声软标签的过拟合减少，因为LoRA将参数更新限制在模型中一小部分稳定子集上。
• 尽管仅使用约30%的参数进行微调，LP-FL仍保持了模型稳定性和泛化能力，与全参数训练相比性能下降极小。