[论文解读] An Efficient Membership Inference Attack for the Diffusion Model by Proximal Initialization

Fei Kong, Jinhao Duan+5 more|arXiv (Cornell University)|May 26, 2023

Generative Adversarial Networks and Image Synthesis被引用 10

一句话总结

PIA 提出了一种基于查询的快速成员身份推断攻击，针对扩散模型，使用近端初始化（t=0）和真实轨迹，在少量查询下实现具竞争力的 AUC 和更高的 TPR@1% FPR，并拓展到连续时间和音频生成任务。

ABSTRACT

Recently, diffusion models have achieved remarkable success in generating tasks, including image and audio generation. However, like other generative models, diffusion models are prone to privacy issues. In this paper, we propose an efficient query-based membership inference attack (MIA), namely Proximal Initialization Attack (PIA), which utilizes groundtruth trajectory obtained by $ε$ initialized in $t=0$ and predicted point to infer memberships. Experimental results indicate that the proposed method can achieve competitive performance with only two queries on both discrete-time and continuous-time diffusion models. Moreover, previous works on the privacy of diffusion models have focused on vision tasks without considering audio tasks. Therefore, we also explore the robustness of diffusion models to MIA in the text-to-speech (TTS) task, which is an audio generation task. To the best of our knowledge, this work is the first to study the robustness of diffusion models to MIA in the TTS task. Experimental results indicate that models with mel-spectrogram (image-like) output are vulnerable to MIA, while models with audio output are relatively robust to MIA. {Code is available at \url{https://github.com/kong13661/PIA}}.

研究动机与目标

• 动机：揭示扩散模型的隐私风险，并评估图像与音频生成任务中的成员推断漏洞。
• 提出近端初始化攻击（PIA）及其归一化形式（PIAN），利用从 t=0 起的真实轨迹来推断成员身份。
• 将攻击推广到离散时间和连续时间扩散模型，并在多个数据集上与现有的MIAs 进行比较。
• 研究文本转语音任务中扩散模型对 MIA 的鲁棒性，并识别影响易受攻击性的输出类型。

提出的方法

• 定义基于 DDIM 的真实轨迹，并展示在零噪声下，知道 x0 及任意 xk 如何决定轨迹。
• 提出 PIA 指标 Rt,p，使用 l_p 范数衡量真实点与模型预测点之间的距离。
• 引入 PIAN，一种归一化变体，将 epsilon 输出映射到近似标准正态分布。
• 在图像扩散模型（DDPM 与 Stable Diffusion）以及 Grad-TTS 上评估 PIA/PIAN；并与 Naive Attack 和 SecMI 进行比较。
• 通过 SDE/ODE 形式将攻击自适应到连续时间扩散模型，并推导相应的 Rt,p 表达式。
• 给出一个威胁模型，假设在基于查询的设置中可以获得扩散过程的中间输出。

实验结果

研究问题

• RQ1 近端初始化是否能在离散时间和连续时间扩散模型上实现高效的成员身份推断攻击？
• RQ2 在图像与音频扩散任务中，与 Naive Attack 和 SecMI 相比，PIA/PIAN 在 AUC 和 TPR@1%FPR 方面的表现如何？
• RQ3 输出类型（梅尔谱图与音频）是否会影响文本转语音应用中扩散模型对 MIA 的鲁棒性？
• RQ4 攻击能否扩展到连续时间扩散模型和基于随机微分方程的形式？

主要发现

• PIA 和 PIAN 在 AUC 方面具竞争力，在仅比 Naive Attack 多 1–2 次查询的情况下实现更高的 TPR@1%FPR，并在多数场景中超越 SecMI。
• 在 Grad-TTS（连续时间）中，PIA/PIAN 获得比 SecMI 更高的 TPR@1%FPR，同时仅使用两次查询和极少计算（约为 SecMI 的 3.2%）。
• 对于 DDPM（离散时间），PIA/PIAN 提升了 TPR@1%FPR 相较于 SecMI，PIAN 在若干数据集上显示出显著提升。
• 在稳定扩散的实验中，PIA 获得更好的 TPR@1%FPR，但 PIAN 的可靠性较低，表明输出类型和归一化影响有效性。
• 声音输出扩散模型（文本转语音）显示鲁棒性差异：梅尔谱图（图像式输出）比音频输出更易受 MIA 影响。
• 本研究首次在 Grad-TTS、DiffWave 和 FastDiff 等音频扩散模型上评估 MIA 鲁棒性。