[论文解读] FedPrompt: Communication-Efficient and Privacy Preserving Prompt Tuning in Federated Learning

Haodong Zhao, Wei Du+3 more|arXiv (Cornell University)|Aug 25, 2022

Privacy-Preserving Technologies in Data被引用 6

一句话总结

FedPrompt 提出了一种通信高效且隐私保护的联邦学习框架，仅微调软提示（soft prompts）而冻结大型预训练语言模型（PLMs），将通信成本降低至全模型参数的 0.01%。该方法在 IID 和 Non-IID 数据上均实现了高准确率，并对标准后门攻击表现出强健性，结合差分隐私进一步增强了安全性。

ABSTRACT

Federated learning (FL) has enabled global model training on decentralized data in a privacy-preserving way by aggregating model updates. However, for many natural language processing (NLP) tasks that utilize pre-trained language models (PLMs) with large numbers of parameters, there are considerable communication costs associated with FL. Recently, prompt tuning, which tunes some soft prompts without modifying PLMs, has achieved excellent performance as a new learning paradigm. Therefore we want to combine the two methods and explore the effect of prompt tuning under FL. In this paper, we propose "FedPrompt" to study prompt tuning in a model split aggregation way using FL, and prove that split aggregation greatly reduces the communication cost, only 0.01% of the PLMs' parameters, with little decrease on accuracy both on IID and Non-IID data distribution. This improves the efficiency of FL method while also protecting the data privacy in prompt tuning. In addition, like PLMs, prompts are uploaded and downloaded between public platforms and personal users, so we try to figure out whether there is still a backdoor threat using only soft prompts in FL scenarios. We further conduct backdoor attacks by data poisoning on FedPrompt. Our experiments show that normal backdoor attack can not achieve a high attack success rate, proving the robustness of FedPrompt. We hope this work can promote the application of prompt in FL and raise the awareness of the possible security threats.

研究动机与目标

• 通过仅微调软提示而非全模型参数，减少大型预训练语言模型（PLMs）在联邦学习中的通信开销。
• 通过避免原始数据交换并最小化模型参数传输，保护数据隐私。
• 评估基于提示的联邦学习在对抗后门攻击（尤其是数据中毒攻击）下的安全性。
• 研究差分隐私（LDP）在保护 FedPrompt 中软提示更新方面的有效性。
• 在准确率和通信效率方面，与现有提示微调方法（如 P-tuning、Prefix-Tuning）进行比较。

提出的方法

• FedPrompt 采用分割聚合策略，冻结 PLM 参数，仅在客户端之间训练并聚合软提示。
• 软提示初始化为可学习嵌入，并插入到输入标记之前，使用 [MASK] 标记来预测标签词。
• 通过 FedAvg 更新全局模型，其中仅聚合并重新分发软提示参数。
• 对软提示的梯度应用差分隐私（拉普拉斯噪声），以防御梯度反演攻击。
• 通过数据中毒评估后门攻击，即恶意客户端在训练数据中注入触发器，以在全局提示中植入后门。
• 实验在多个自然语言处理任务和模型上，将 FedPrompt 与全微调及其他提示微调方法（P-tuning、Prefix-Tuning）进行比较。

实验结果

研究问题

• RQ1 在联邦学习中仅微调提示是否能显著降低通信成本，同时保持高模型准确率？
• RQ2 FedPrompt 在 IID 和 Non-IID 数据分布设置下的表现如何？
• RQ3 当软提示在客户端之间共享时，FedPrompt 是否容易受到后门攻击？
• RQ4 差分隐私是否能有效保护软提示更新而不严重降低模型性能？
• RQ5 在准确率和通信效率方面，FedPrompt 与其它提示微调方法（如 P-tuning、Prefix-Tuning）相比如何？

主要发现

• FedPrompt 将通信成本降低至全 PLM 微调的 0.01%，在 BERT 上于 SST-2 数据集上达到 90.16% 的准确率。
• 该方法在 IID 和 Non-IID 数据分布下，对多个模型均保持高准确率（ROBERTA 为 92.43%，T5 为 92.69%）。
• 通过数据中毒实施的后门攻击在恶意客户端上达到 100% 成功率，但在良性客户端和全局模型上均无效，表明具有强健性。
• 应用拉普拉斯噪声（LDP）使准确率下降约 5%，但能有效防御梯度反演攻击。
• 在提示微调方法中，标准提示微调（FedPrompt）在准确率与通信成本之间实现了最佳平衡，优于 P-tuning 和 Prefix-Tuning 的效率。
• FedPrompt 的最优本地训练轮数约为 1000–1500；轮数过少会减缓收敛，过多则可能导致本地过拟合。