[论文解读] DiffProtect: Generate Adversarial Examples with Diffusion Models for Facial Privacy Protection

Jiang Liu, Chun Pong Lau+4 more|arXiv (Cornell University)|May 23, 2023

Face recognition and analysis被引用 8

一句话总结

DiffProtect 使用扩散自编码器生成语义上有意义、质量较高的对抗人脸图像，能够欺骗人脸识别系统，并实现比以往方法更高的攻击成功率。它还引入一种攻击加速变体。

ABSTRACT

The increasingly pervasive facial recognition (FR) systems raise serious concerns about personal privacy, especially for billions of users who have publicly shared their photos on social media. Several attempts have been made to protect individuals from being identified by unauthorized FR systems utilizing adversarial attacks to generate encrypted face images. However, existing methods suffer from poor visual quality or low attack success rates, which limit their utility. Recently, diffusion models have achieved tremendous success in image generation. In this work, we ask: can diffusion models be used to generate adversarial examples to improve both visual quality and attack performance? We propose DiffProtect, which utilizes a diffusion autoencoder to generate semantically meaningful perturbations on FR systems. Extensive experiments demonstrate that DiffProtect produces more natural-looking encrypted images than state-of-the-art methods while achieving significantly higher attack success rates, e.g., 24.5% and 25.1% absolute improvements on the CelebA-HQ and FFHQ datasets.

研究动机与目标

• 推动对广泛人脸识别系统的隐私保护
• 开发一种能生成自然外观且具有高攻击效能的对抗人脸图像的方法
• 利用扩散模型在人脸上生成语义上有意义的扰动
• 在保持视觉身份的同时实现对 FR 系统的定向攻击

提出的方法

• 将输入人脸编码为语义码 z 和通过扩散自编码器得到的随机码 x_T
• 通过条件 DDIM 解码迭代优化对抗语义码 z_adv 以生成受保护图像 I_p
• 引入人脸语义正则化以使 I_p 在视觉上保持与 I 相似、保持身份
• 将攻击表述为对 z_adv 的带 L_infty 预算的约束优化（||z_adv − z||_∞ < γ）
• 可选地应用攻击加速变体（DiffProtect-fast）通过以单步扩散估计 I_p 以加速迭代

实验结果

研究问题

• RQ1 扩散模型是否能够生成在视觉上高质量且有效欺骗 FR 系统的对抗人脸图像？
• RQ2 语义正则化如何影响攻击成功率与视觉保真度之间的权衡？
• RQ3 是否可以在不显著牺牲性能的情况下加速基于扩散的对抗攻击？
• RQ4 在黑盒定向设定下，扩散-based 攻击与基于 GAN 的和传统噪声/贴片方法相比有何差异？

主要发现

• DiffProtect 在 CelebA-HQ 和 FFHQ 的定向黑盒 FR 攻击中显著优于以往方法，具有更高的 ASR 和更低的 FID 分数
• 该方法能够产生自然外观的受保护图像，扰动不显眼，不包含明显的噪声或贴片
• 一种攻击加速变体（DiffProtect-fast）在大约一半的计算时间内实现了类似的 ASR
• 人脸语义正则化有助于保持输入身份，但其效果会随正则化权重的变化而影响 ASR
• 在商业 FR API Face++ 上，与基线相比，DiffProtect 对 CelebA-HQ 和 FFHQ 的平均置信度下降更高