[论文解读] FedGAN: Federated Generative Adversarial Networks for Distributed Data

Mohammad Rasouli, Tao Sun+1 more|arXiv (Cornell University)|Jun 12, 2020

Generative Adversarial Networks and Image Synthesis参考文献 30被引用 29

一句话总结

FedGAN 提出了一种通信高效的联邦生成对抗网络，通过中间代理同步本地生成器和判别器，在非独立同分布（non-iid）且受隐私约束的数据源上训练 GAN。该方法在等时标和双时标更新下均实现收敛，性能与集中式 GAN 相当，同时显著降低通信开销，已在 MNIST、CIFAR-10、CelebA 及时间序列能源数据集上得到验证。

ABSTRACT

We propose Federated Generative Adversarial Network (FedGAN) for training a GAN across distributed sources of non-independent-and-identically-distributed data sources subject to communication and privacy constraints. Our algorithm uses local generators and discriminators which are periodically synced via an intermediary that averages and broadcasts the generator and discriminator parameters. We theoretically prove the convergence of FedGAN with both equal and two time-scale updates of generator and discriminator, under standard assumptions, using stochastic approximations and communication efficient stochastic gradient descents. We experiment FedGAN on toy examples (2D system, mixed Gaussian, and Swiss role), image datasets (MNIST, CIFAR-10, and CelebA), and time series datasets (household electricity consumption and electric vehicle charging sessions). We show FedGAN converges and has similar performance to general distributed GAN, while reduces communication complexity. We also show its robustness to reduced communications.

研究动机与目标

• 解决在严格隐私和通信约束下，对分布式非独立同分布数据源训练高精度 GAN 的挑战。
• 通过最小化客户端与中央服务器之间的数据交换，降低分布式 GAN 训练中的通信复杂度。
• 确保在数据异构性和通信受限的联邦学习环境下，GAN 训练过程的收敛性。
• 将 GAN 应用扩展至联邦学习环境，特别是在具有时间序列、隐私敏感数据的能源系统等领域的应用。
• 为现有需要频繁参数交换的分布式 GAN 提供一种理论基础扎实、通信高效的替代方案。

提出的方法

• FedGAN 在每个数据源部署本地生成器和判别器，先在本地数据上独立训练，再定期同步。
• 一个中间代理服务器定期聚合并广播全局生成器和判别器的平均参数至所有客户端。
• 该框架采用随机逼近和通信高效的随机梯度下降（SGD）方法，确保在标准假设下的收敛性。
• 分析了两种更新策略：等时标更新和双时标更新（TTUR），两者均在非独立同分布数据下被证明可收敛。
• 该方法利用联邦学习原则，通过从不在中央汇聚原始数据来保护数据隐私。
• 根据数据集（如学习率、批量大小、网络架构）调整超参数，以在 MNIST、CIFAR-10、CelebA 和时间序列数据上优化性能。

实验结果

研究问题

• RQ1 在通信受限、数据分布非独立同分布的分布式客户端上训练 GAN 时，联邦 GAN 框架能否实现收敛？
• RQ2 与集中式或频繁同步的分布式 GAN 相比，FedGAN 的通信效率如何？
• RQ3 在通信频率降低的情况下，FedGAN 在生成质量和训练稳定性方面能保持多大程度的性能？
• RQ4 FedGAN 能否在图像和时间序列数据等不同类型数据上，在隐私约束下有效应用？
• RQ5 FedGAN 的理论收敛性保证是否在非独立同分布设置下，对等时标和双时标更新规则均成立？

主要发现

• FedGAN 在等时标和双时标更新规则下均实现收敛，理论证明基于随机逼近和通信高效的 SGD。
• 在 MNIST、CIFAR-10 和 CelebA 上，FedGAN 生成的样本质量与集中式 GAN 相当，即使通信频率较低。
• 在家庭用电和电动汽车充电时间序列数据实验中，FedGAN 尽管面对非独立同分布的数据分布，仍成功学习到复杂的时序模式。
• FedGAN 对通信频率降低具有鲁棒性，在同步间隔 K=10 至 K=3000 的情况下，保持训练稳定且生成质量高。
• 与现有需要客户端与中央服务器频繁交换参数的分布式 GAN 相比，该方法显著降低了通信复杂度。
• 实验结果表明，FedGAN 在通信效率和收敛稳定性方面优于仅使用一个中央生成器的基线分布式 GAN。