[论文解读] Generating Differentially Private Datasets Using GANs

Aleksei Triastcyn, Boi Faltings|arXiv (Cornell University)|Feb 15, 2018

Privacy-Preserving Technologies in Data参考文献 18被引用 30

一句话总结

本文提出了一种基于GAN的方法，通过在判别器中注入高斯噪声，确保训练过程中的差分隐私，从而生成高质量的合成数据集，在较小的隐私预算下保留真实数据的统计特性，同时提供强大的隐私保障。

ABSTRACT

In this paper, we present a technique for generating artificial datasets that retain statistical properties of the real data while providing differential privacy guarantees with respect to this data. We include a Gaussian noise layer in the discriminator of a generative adversarial network to make the output and the gradients differentially private with respect to the training data, and then use the generator component to synthesise privacy-preserving artificial dataset. Our experiments show that under a reasonably small privacy budget we are able to generate data of high quality and successfully train machine learning models on this artificial data.

研究动机与目标

• 开发一种生成合成数据集的方法，使其在保持真实数据统计特性的同时确保差分隐私。
• 解决在不暴露个体数据点的情况下对敏感数据训练生成模型的挑战。
• 将差分隐私直接集成到GAN训练过程中，特别是在判别器中，以保护训练数据。
• 评估隐私保护的合成数据是否能够支持有效的下游机器学习任务。

提出的方法

• 在GAN的判别器中插入一个高斯噪声层，使其输出和梯度相对于训练数据具有差分隐私。
• 训练生成器以生成能够欺骗差分隐私判别器的合成数据。
• 噪声注入确保模型参数和输出对单个数据点的变化具有鲁棒性，从而满足差分隐私要求。
• 通过调节高斯层中的噪声尺度来控制隐私预算（epsilon）。
• 训练过程交替更新生成器和差分隐私判别器。
• 最终的生成器生成一个保留原始数据统计特征的合成数据集。

实验结果

研究问题

• RQ1 能否修改GAN以生成既高质量又具备差分隐私的合成数据集？
• RQ2 在判别器中注入噪声如何影响生成数据的质量和效用？
• RQ3 隐私预算（epsilon）与合成数据保真度之间的权衡如何？
• RQ4 在合成数据上训练的机器学习模型能否实现与在真实数据上训练的模型相当的性能？
• RQ5 所提出的方法与现有差分隐私数据生成技术相比如何？

主要发现

• 所提出的方法在较小的隐私预算下成功生成了保留原始数据统计特性的合成数据集。
• 即使在强隐私保障下，生成数据的质量依然很高，这从下游模型的性能表现中得到证实。
• 在合成数据上训练的机器学习模型性能接近在真实数据上训练的模型。
• 通过在判别器中注入噪声，该方法实现了对模型参数和输出的端到端差分隐私保护。
• 该方法在保持隐私和数据效用的同时，能有效扩展到现实世界的数据集。