[论文解读] FedSyn: Synthetic Data Generation using Federated Learning

Monik Raj Behera, Sudhir K. Upadhyay+4 more|arXiv (Cornell University)|Mar 11, 2022

Privacy-Preserving Technologies in Data被引用 14

一句话总结

FedSyn 提出了一种隐私保护的联邦学习框架，通过生成对抗网络（GANs）生成高质量的合成数据，而无需共享原始数据。通过使用差分隐私对本地训练模型进行联邦聚合以训练全局 GAN 生成器，FedSyn 实现了组织间协作的合成数据生成，同时保护了数据隐私并减少了数据偏差。

ABSTRACT

As Deep Learning algorithms continue to evolve and become more sophisticated, they require massive datasets for model training and efficacy of models. Some of those data requirements can be met with the help of existing datasets within the organizations. Current Machine Learning practices can be leveraged to generate synthetic data from an existing dataset. Further, it is well established that diversity in generated synthetic data relies on (and is perhaps limited by) statistical properties of available dataset within a single organization or entity. The more diverse an existing dataset is, the more expressive and generic synthetic data can be. However, given the scarcity of underlying data, it is challenging to collate big data in one organization. The diverse, non-overlapping dataset across distinct organizations provides an opportunity for them to contribute their limited distinct data to a larger pool that can be leveraged to further synthesize. Unfortunately, this raises data privacy concerns that some institutions may not be comfortable with. This paper proposes a novel approach to generate synthetic data - FedSyn. FedSyn is a collaborative, privacy preserving approach to generate synthetic data among multiple participants in a federated and collaborative network. FedSyn creates a synthetic data generation model, which can generate synthetic data consisting of statistical distribution of almost all the participants in the network. FedSyn does not require access to the data of an individual participant, hence protecting the privacy of participant's data. The proposed technique in this paper leverages federated machine learning and generative adversarial network (GAN) as neural network architecture for synthetic data generation. The proposed method can be extended to many machine learning problem classes in finance, health, governance, technology and many more.

研究动机与目标

• 通过在多个组织间协作生成合成数据，而不共享原始数据，解决机器学习中的数据稀缺问题。
• 通过联邦学习聚合来自多样化、非独立同分布（non-IID）数据源的模型，缓解数据偏差。
• 通过仅共享模型参数并应用差分隐私，防止直接访问参与方的个人数据，从而确保数据隐私。
• 通过利用参与方之间分布异构的数据集，提升合成数据的泛化能力和统计表达能力。
• 通过构建一个安全、可扩展的合成数据生成框架，支持金融、医疗和治理等跨行业应用。

提出的方法

• 使用联邦学习在多个客户端上训练全局 GAN 生成器，无需共享原始数据，仅交换模型参数。
• 每个客户端在其私有数据上训练本地 GAN 生成器，中央服务器使用 FedAvg 或类似聚合算法聚合模型更新。
• 通过在聚合前向模型参数添加拉普拉斯噪声，应用差分隐私以保护个体数据隐私。
• 生成器与判别器网络以对抗方式训练，使生成器学习生成与真实数据无法区分的合成样本。
• 该框架支持客户端间非独立同分布的数据分布，增强了对数据异构性的鲁棒性。
• 在收敛后全局生成合成数据，捕捉所有参与方的统计分布特征。

实验结果

研究问题

• RQ1 联邦学习能否与基于 GAN 的合成数据生成有效结合，以在保护数据隐私的同时提升数据多样性？
• RQ2 在模型参数中添加差分隐私对生成的合成数据质量与实用性有何影响？
• RQ3 当在多个组织间使用非独立同分布、异构数据进行训练时，FedSyn 能在多大程度上缓解数据偏差？
• RQ4 FedSyn 是否能在不访问任何参与方原始数据的情况下生成高保真度的合成数据？
• RQ5 差分隐私中噪声水平的高低如何影响隐私与合成数据质量之间的权衡？

主要发现

• FedSyn 能够成功生成合成数据，准确捕捉所有参与客户端的统计分布，且无需访问其原始数据。
• 随着差分隐私噪声水平的提高，合成数据的质量下降，表明隐私与实用性之间存在权衡。
• 在非独立同分布数据上使用联邦学习，可使全局生成器生成代表所有类别标签的样本，即使单个客户端的数据存在不平衡。
• 该框架证明了在隐私保护的协作环境中实现合成数据生成的可行性，减少了对集中式数据收集的依赖。
• 当数据分布在不同机构时，联邦训练聚合的模型在捕捉多样化数据模式方面优于集中式训练的模型。
• 在模型参数层面集成差分隐私，可在不共享数据的前提下提供强有力的隐私保障。