[论文解读] Federated Generative Learning with Foundation Models

Jie Zhang, Xiaohua Qi+1 more|arXiv (Cornell University)|Jun 28, 2023

Privacy-Preserving Technologies in Data被引用 5

一句话总结

本文提出联邦生成学习（Federated Generative Learning, FGL），一种新颖的联邦学习框架，仅在客户端与服务器之间传输提示（prompts）——而非模型参数或梯度。通过利用Stable Diffusion等基础生成模型，服务器从这些提示中合成高质量的训练数据，实现了卓越的通信效率，提升了对数据异质性的鲁棒性，并增强了隐私保护，其性能甚至在ImageNet和DomainNet的集中式训练设置下也优于FedAvg。

ABSTRACT

Existing approaches in Federated Learning (FL) mainly focus on sending model parameters or gradients from clients to a server. However, these methods are plagued by significant inefficiency, privacy, and security concerns. Thanks to the emerging foundation generative models, we propose a novel federated learning framework, namely Federated Generative Learning. In this framework, each client can create text embeddings that are tailored to their local data, and send embeddings to the server. Then the informative training data can be synthesized remotely on the server using foundation generative models with these embeddings, which can benefit FL tasks. Our proposed framework offers several advantages, including increased communication efficiency, robustness to data heterogeneity, substantial performance improvements, and enhanced privacy protection. We validate these benefits through extensive experiments conducted on 12 datasets. For example, on the ImageNet100 dataset with a highly skewed data distribution, our method outperforms FedAvg by 12% in a single communication round, compared to FedAvg's performance over 200 communication rounds. We have released the code for all experiments conducted in this study.

研究动机与目标

• 解决传统联邦学习中因传输大型模型参数或梯度而带来的高通信成本和隐私风险。
• 通过将模型训练与原始数据分布变化解耦，克服联邦学习中的数据异质性挑战。
• 在数据敏感领域（如医疗）中实现协作式模型训练，这些领域因隐私或所有权限制而无法共享原始数据。
• 利用基础生成模型的能力，从极少且具有隐私保护性的提示中合成高质量的训练数据。
• 提出一种联邦学习的新范式，将知识传递方式从参数/梯度交换转变为基于提示的传输，从而提升效率与安全性。

提出的方法

• 客户端仅向服务器传输描述其本地训练数据的文本提示，最大限度降低通信开销。
• 服务器聚合所有客户端的提示，并利用预训练的基础生成模型（如Stable Diffusion）合成一个全面的替代训练数据集。
• 在全球合成数据集上训练全局模型，该数据集保留了原始数据的语义和分布特性。
• 该框架仅需单轮通信，与传统FedAvg相比，显著减少了训练轮次。
• 隐私性通过避免传输原始数据或梯度得到增强，并借助现代扩散模型的低记忆风险特性进一步提升。
• 该方法对数据分布变化具有鲁棒性，因为服务器基于聚合提示合成数据，而非原始数据分布。

Figure 1: Left: The performance comparison between FedAvg and ours on five ImageNet subsets and a DomainNet subset. Right: Our results consistently outperform FedAvg in different data distributions on ImageSquawk dataset. Note that our 5-round results are better than the centralized training. The ci

实验结果

研究问题

• RQ1 是否可以通过仅传输提示而非模型参数或梯度来有效实现联邦学习？
• RQ2 与传统方法（如FedAvg）相比，基于提示的联邦学习在多大程度上降低了通信成本？
• RQ3 与现有联邦学习基线相比，该方法在数据异质性和分布偏移情况下的表现如何？
• RQ4 合成数据的隐私风险如何？该框架是否能抵御成员推理攻击和数据记忆化？
• RQ5 在合成数据上训练的全局模型性能是否能达到甚至超过在真实数据上的集中式训练？

主要发现

• 与使用ResNet18的FedAvg相比，所提出的FGL框架将通信成本降低了99.95%，仅传输229字节的提示，而FedAvg需传输42.7MB的梯度。
• 在ImageNet和DomainNet上，FGL的性能不仅优于FedAvg，甚至在某些设置下超越了集中式训练，5轮FGL的结果在ImageSquawk上优于集中式训练。
• FGL对数据异质性表现出鲁棒性，因其基于聚合提示合成数据，而不依赖原始数据分布。
• 图像检索与相似性分析显示，合成图像与原始训练数据之间无显著相似性，表明记忆化程度极低，隐私泄露风险小。
• 成员推理攻击结果表明，FGL中成员与非成员样本的输出分布显著更相似，相较于FedAvg，成员推理风险更低。
• FGL中训练成员与非成员的损失和置信度度量差异小于FedAvg，证实了更强的隐私保护能力。

Figure 2: The proposed Federated Generative Learning. Firstly, the prompts from clients are uploaded and then aggregated in the server. Then, stable diffusion is used to generate synthetic data for training the global model. The updated model weights are distributed to clients.