[论文解读] Are Diffusion Models Vulnerable to Membership Inference Attacks?

Jinhao Duan, Fei Kong+3 more|arXiv (Cornell University)|Feb 2, 2023

Generative Adversarial Networks and Image Synthesis被引用 12

一句话总结

本文显示现有针对GANs/VAEs的MIAs在扩散模型上基本失效，并引入 SecMI，一种基于逐步误差的、查询驱动的MIAs，能够有效推断包括 DDPM、LDMs 和 Stable Diffusion 在内的扩散模型的成员资格。

ABSTRACT

Diffusion-based generative models have shown great potential for image synthesis, but there is a lack of research on the security and privacy risks they may pose. In this paper, we investigate the vulnerability of diffusion models to Membership Inference Attacks (MIAs), a common privacy concern. Our results indicate that existing MIAs designed for GANs or VAE are largely ineffective on diffusion models, either due to inapplicable scenarios (e.g., requiring the discriminator of GANs) or inappropriate assumptions (e.g., closer distances between synthetic samples and member samples). To address this gap, we propose Step-wise Error Comparing Membership Inference (SecMI), a query-based MIA that infers memberships by assessing the matching of forward process posterior estimation at each timestep. SecMI follows the common overfitting assumption in MIA where member samples normally have smaller estimation errors, compared with hold-out samples. We consider both the standard diffusion models, e.g., DDPM, and the text-to-image diffusion models, e.g., Latent Diffusion Models and Stable Diffusion. Experimental results demonstrate that our methods precisely infer the membership with high confidence on both of the two scenarios across multiple different datasets. Code is available at https://github.com/jinhaoduan/SecMI.

研究动机与目标

• 评估设计用于 GANs/VAEs 的现有成员推断攻击（MIA）是否适用于扩散模型。
• 评估扩散模型（DDPM、Latent Diffusion Models、Stable Diffusion）对比常规 MIA。
• 开发利用前向过程后验估计的扩散专用 MIA。
• 展示 SecMI 在多个数据集和扩散模型变体上的有效性。

提出的方法

• 在扩散模型上使用 CIFAR-10 切分并在需要时使用 shadow 模型，对五种为生成模型设计的 MIAs 进行回顾和评估。
• 开发 SecMI，一种基于查询的 MIA，比较扩散时间步中逐步后验估计误差。
• 形式化一个 t-误差度量，近似后验估计误差，并在学习目标条件下证明收敛性。
• 实现 SecMI 有两个变体：SecMI stat（统计阈值）和 SecMI NNs（基于神经网络的推断）。
• 将 SecMI 扩展到 Latent Diffusion Models，以及如 Stable Diffusion 这样的大规模文本到图像扩散模型。

实验结果

研究问题

• RQ1 现有针对 GANs/VAEs 的 MIAs 能否有效揭示扩散模型中的成员身份？
• RQ2 扩散专用的 MIA 是否能够利用前向过程后验估计来揭示成员身份？
• RQ3 SecMI 在标准 DDPMs、Latent Diffusion Models 与 Stable Diffusion 在多个数据集上的表现如何？
• RQ4 训练动态和数据增强对 SecMI 效果的影响是什么？

主要发现

• 在标准评估设置下，现有的 MIAs 在揭示扩散模型成员身份方面基本失败。
• SecMI，一种基于逐步误差的 MIA，在扩散模型和数据集上实现了高攻击成功率和区分度指标。
• SecMI 的变体在基于统计和基于神经网络的推断方面都表现出强劲性能。
• SecMI 可以推广到 Latent Diffusion Models 和大规模预训练的 Stable Diffusion 模型。
• 数据增强可能略微降低 SecMI 的有效性，而某些防御措施（如激进的 DP 训练）可能阻碍模型收敛。