[论文解读] Generating Artificial Data for Private Deep Learning

Aleksei Triastcyn, Boi Faltings|arXiv (Cornell University)|Mar 8, 2018

Privacy-Preserving Technologies in Data参考文献 36被引用 23

一句话总结

本文提出使用生成对抗网络（GAN）生成高质量的人工数据集，以在保护真实数据统计特性的同时确保隐私。通过在敏感数据上训练 GAN，并结合基于 KL 散度和切比雪夫不等式的经验隐私估计框架，该方法对模型反演攻击展现出强抵抗力——将人脸检测成功率从 63.6% 降低至 1.3%，同时在下游任务中保持高模型准确率。

ABSTRACT

In this paper, we propose generating artificial data that retain statistical properties of real data as the means of providing privacy with respect to the original dataset. We use generative adversarial network to draw privacy-preserving artificial data samples and derive an empirical method to assess the risk of information disclosure in a differential-privacy-like way. Our experiments show that we are able to generate artificial data of high quality and successfully train and validate machine learning models on this data while limiting potential privacy loss.

研究动机与目标

• 解决在机器学习中发布敏感训练数据时保护个体隐私的挑战。
• 开发一种实用且可扩展的私有数据发布方法，无需依赖公开数据进行预训练。
• 使用统计隐私估计框架量化发布人工数据集中信息泄露的风险。
• 证明在人工数据上训练的模型对模型反演攻击具有鲁棒性，同时保持高性能。
• 通过提供一种隐私保护的数据发布机制，实现数据池化、模型共享和数据市场。

提出的方法

• 在敏感的真实数据上训练 GAN，以生成保留原始数据集统计特性的合成数据样本。
• 采用 WGAN-GP 架构，并引入差分隐私的判别器层，以提升训练稳定性并为判别器输出提供 DP 保障。
• 应用基于 KL 散度估计和切比雪夫不等式的经验隐私估计框架，计算预期隐私损失的边界。
• 使用堆叠去噪自编码器将图像压缩为 64D 向量，以在评估期间促进模型反演攻击。
• 在生成的人工数据上训练学生模型，并在标准基准（MNIST、SVHN、CelebA）上评估其性能。
• 对训练后的模型执行模型反演攻击，以评估信息泄露情况，使用人脸检测和识别作为评估指标。

实验结果

研究问题

• RQ1 GAN 生成的人工数据是否能在保持隐私的同时，为训练高精度机器学习模型提供高实用性？
• RQ2 如何以类似于差分隐私的方式，对发布人工数据集中的隐私风险进行定量估计？
• RQ3 与真实数据相比，在人工数据上训练在多大程度上降低了对模型反演攻击的脆弱性？
• RQ4 所提出的方法是否能在无需公开可用训练数据进行预训练的情况下，实现强隐私保障？
• RQ5 经验隐私边界与模型反演场景中的实际攻击成功率之间是否存在相关性？

主要发现

• 该方法将模型反演攻击中的人脸检测成功率从使用真实数据训练的模型的 63.6% 降低至使用 GAN 生成数据训练的模型的 1.3%。
• 在生成数据上，人脸识别成功率降至 0.3%，远低于当前最先进水平的误差范围，表明隐私保护效果显著。
• 所提出的隐私估计框架在 MNIST、SVHN 和 CelebA 数据集中计算出的预期隐私损失边界值均在个位数以内。
• 引入差分隐私判别器层后，训练稳定性得到改善，图像多样性提升，隐私保障能力也进一步增强。
• 在人工数据上训练的模型在 MNIST 和 SVHN 上均达到高准确率，表明其性能与在真实数据上训练的模型相当，实用性显著。
• 视觉检查表明，即使姿态和光照相似，生成图像在关键隐私敏感特征（如面部特征、肤色、性别）上仍与真实图像存在明显差异。