[论文解读] Generalization in Generative Adversarial Networks: A Novel Perspective from Privacy Protection

Bingzhe Wu, Shiwan Zhao+6 more|arXiv (Cornell University)|Aug 21, 2019

Privacy-Preserving Technologies in Data参考文献 32被引用 25

一句话总结

本文建立了 GAN 泛化与隐私保护之间新颖的理论与实证联系，表明差分隐私和利普希茨正则化可同时降低泛化差距与信息泄露。研究证明，谱归一化与权重裁剪等技术显著降低了成员推理攻击的成功率，验证了泛化能力的提升本质上增强了隐私保护。

ABSTRACT

In this paper, we aim to understand the generalization properties of generative adversarial networks (GANs) from a new perspective of privacy protection. Theoretically, we prove that a differentially private learning algorithm used for training the GAN does not overfit to a certain degree, i.e., the generalization gap can be bounded. Moreover, some recent works, such as the Bayesian GAN, can be re-interpreted based on our theoretical insight from privacy protection. Quantitatively, to evaluate the information leakage of well-trained GAN models, we perform various membership attacks on these models. The results show that previous Lipschitz regularization techniques are effective in not only reducing the generalization gap but also alleviating the information leakage of the training dataset.

研究动机与目标

• 探究 GAN 泛化与隐私保护之间的理论与实证关系。
• 验证减少泛化差距可内在地限制训练数据中的信息泄露这一直觉。
• 从隐私保护的视角重新诠释现有的 GAN 训练技术，如利普希茨正则化与贝叶斯 GAN。
• 通过成员推理攻击对多种 GAN 架构与正则化方法进行定量评估，以衡量信息泄露程度。

提出的方法

• 理论分析基于稳定性泛化界，源自差分隐私，表明差分隐私训练可防止过拟合。
• 实证评估采用成员推理攻击来度量信息泄露，攻击模型通过推断样本是否属于训练集来衡量泄露程度。
• 使用多种正则化技术训练不同的 GAN 变体：权重裁剪、谱归一化与正交化正则化。
• 通过辅助数据（训练集与测试集的 30%）模拟黑盒成员推理攻击，以模仿判别器并评估模型鲁棒性。
• 通过训练集与测试集上模型性能的差异量化泛化差距，并将其与攻击 AUC 评分关联。
• 实验比较了在 LFW 与 IDC 数据集上，不同正则化策略下攻击性能（AUC、F1）的表现，以评估隐私-效用权衡。

实验结果

研究问题

• RQ1 差分隐私与利普希茨正则化是否可理论地关联到 GAN 中泛化能力的提升与信息泄露的减少？
• RQ2 现有正则化技术（如谱归一化）在多大程度上能同时降低泛化差距与成员推理攻击成功率？
• RQ3 数据集相似性（如 IDC 与 LFW 中较低的标准差）如何影响成员推理攻击在 GAN 上的有效性？
• RQ4 当仅能获取部分数据时，黑盒成员推理攻击是否仍能有效推断训练成员身份？

主要发现

• 原始 GAN 在 LFW 上的成员推理攻击 AUC 为 0.729，在 IDC 上降至 0.531，表明图像相似性越高，信息泄露越低。
• 谱归一化将 LFW 上的攻击 AUC 降低至 0.497，F1 降低至 0.347，显示出显著的隐私保护效果。
• 权重裁剪将攻击 AUC 降低至 0.502，F1 降低至 0.358，表明具有中等隐私收益。
• 正交化正则化在 IDC 上实现了 0.402 的 F1 分数，与谱归一化相当，而原始权重归一化因模式崩溃而失败。
• 黑盒攻击性能低于白盒攻击，原始 GAN 的 AUC 从 0.729 降至 0.549，证实了攻击难度的提升。
• 结果验证了通过正则化减少泛化差距可同时降低信息泄露，支持隐私与泛化之间的对偶性。