[论文解读] Generative Model: Membership Attack,Generalization and Diversity

Kin Sum Liu, Bo Li+1 more|arXiv (Cornell University)|May 24, 2018

Adversarial Robustness in Machine Learning参考文献 13被引用 18

一句话总结

本文提出共成员攻击（co-membership attacks），一种新颖的方法，用于判断一组 n 个实例是否曾作为深度生成模型（如 VAE 和 GAN）的训练数据。通过优化攻击者网络以重建输入实例并测量重建误差，该方法优于以往的攻击方式，其中 VAE 表现出比 GAN 更高的脆弱性。

ABSTRACT

In this paper we propose a new membership attack method called co-membership attacks against deep generative models including Variational Autoencoders (VAEs) and Generative Adversarial Networks (GANs). Specifically, membership attack aims to check whether a given instance x was used in the training data or not. A co-membership attack checks whether the given bundle of n instances were in the training, with the prior knowledge that the bundle was either entirely used in the training or none at all. Successful membership attacks can compromise the privacy of training data when the generative model is published. Our main idea is to cast membership inference of target data x as the optimization of another neural network (called the attacker network) to search for the latent encoding to reproduce x. The final reconstruction error is used directly to conclude whether x was in the training data or not. We conduct extensive experiments on a variety of datasets and generative models showing that: our attacker network outperforms prior membership attacks; co-membership attacks can be substantially more powerful than single attacks; and VAEs are more susceptible to membership attacks compared to GANs.

研究动机与目标

• 解决深度生成模型在公开发布后面临的成员推断攻击所引发的隐私风险。
• 通过利用共成员查询的群体级信息，改进现有成员攻击方法。
• 研究在成员推断攻击下 VAE 和 GAN 的泛化与隐私权衡问题。
• 评估基于重建的攻击方法在潜在空间优化下的有效性。

提出的方法

• 将成员推断建模为一个优化问题，其中攻击者网络学习从潜在码重建输入实例。
• 使用攻击者网络的重建误差作为判断输入是否属于训练集的决策指标。
• 提出共成员攻击，通过利用群体级别成员信息，判断一组 n 个实例是否全部属于训练数据。
• 端到端训练攻击者网络，以最小化目标实例的重建损失，且使用与目标生成模型相同的架构。
• 在多个数据集上对 VAE 和 GAN 应用该方法，以评估性能与泛化能力。
• 通过验证数据中提取的重建误差阈值，比较攻击成功率。

实验结果

研究问题

• RQ1 与单实例攻击相比，共成员攻击是否能显著提升成员推断的准确性？
• RQ2 攻击者网络的重建误差与实际训练集成员身份之间是否存在相关性？
• RQ3 由于其生成机制，VAE 是否比 GAN 更容易受到成员攻击？
• RQ4 数据的群体级结构在多大程度上提升了攻击性能？

主要发现

• 所提出的共成员攻击方法在 VAE 和 GAN 上的成员推断准确率均高于以往的单实例攻击方法。
• 共成员攻击显著优于单实例攻击，尤其在群体规模中等至偏大时表现更优。
• VAE 比 GAN 更容易受到成员攻击，这从训练样本的重建误差更低中得到证实。
• 攻击者网络的重建误差可作为成员身份的可靠指标，训练实例与非训练实例之间存在清晰分离。