[论文解读] GS-WGAN: A Gradient-Sanitized Approach for Learning Differentially Private Generators

Dingfan Chen, Tribhuvanesh Orekondy+1 more|arXiv (Cornell University)|Jun 15, 2020

Privacy-Preserving Technologies in Data参考文献 46被引用 30

一句话总结

GS-WGAN 通过在 Wasserstein 目标下有选择地对生成器梯度进行安全化来训练 DP GAN，在集中式和联邦设置中提升高维数据生成能力。

ABSTRACT

The wide-spread availability of rich data has fueled the growth of machine learning applications in numerous domains. However, growth in domains with highly-sensitive data (e.g., medical) is largely hindered as the private nature of data prohibits it from being shared. To this end, we propose Gradient-sanitized Wasserstein Generative Adversarial Networks (GS-WGAN), which allows releasing a sanitized form of the sensitive data with rigorous privacy guarantees. In contrast to prior work, our approach is able to distort gradient information more precisely, and thereby enabling training deeper models which generate more informative samples. Moreover, our formulation naturally allows for training GANs in both centralized and federated (i.e., decentralized) data scenarios. Through extensive experiments, we find our approach consistently outperforms state-of-the-art approaches across multiple metrics (e.g., sample quality) and datasets.

研究动机与目标

• Motivate privacy-preserving data publishing for high-dimensional data.
• Propose a gradient-sanitized DP-GAN (GS-WGAN) that selectively sanitizes generator gradients.
• Leverage Wasserstein loss with gradient penalty to bound gradient sensitivity and improve utility.
• Extend GS-WGAN to federated learning with provable DP guarantees.

提出的方法

• 对生成器参数有选择性地应用 DP-SGD 式梯度安全化。
• 采用带梯度惩罚项的 Wasserstein GAN 目标，以保持判别器梯度的 Lipschitz 连续性。
• 在利用链式法则的同时，对生成器上游梯度进行裁剪并加入噪声，以最小化信息损失。
• 利用后处理和子采样来放大隐私性，使联邦设置中实现用户级 DP。
• 在类似联邦的设置中，对不相干子集的多个判别器进行训练，以降低隐私成本。

实验结果

研究问题

• RQ1 仅对生成器进行选择性梯度安全化，在差分隐私下是否比对 GAN 使用全 DP-SGD 能获得更好的效用？
• RQ2 带梯度惩罚的 Wasserstein 目标是否稳定梯度范数，从而便于隐私预算管理？
• RQ3 GS-WGAN 能否在具有 provable DP 保证的联邦、去中心化数据环境中有效应用？
• RQ4 子采样如何影响 DP GAN 训练中的隐私-效用权衡？

主要发现

• GS-WGAN 在 MNIST 和 Fashion-MNIST 上取得比现有 DP GAN 基线更高的样本质量（IS 提升和 FID 降低）。
• 带梯度惩罚的 Wasserstein 目标可产生有界的梯度范数，减少裁剪引起的效用损失。
• 对生成器参数进行选择性安全化，使 DP 训练能够获得竞争性或更优的下游任务性能。
• 联邦 GS-WGAN 提供 DP 保证，隐私成本更低、通信成本低于 Fed-Avg GAN。
• 子采样和热启动策略进一步改善隐私-效用权衡，并提高对噪声的鲁棒性。