[论文解读] Differentially Private Imaging via Latent Space Manipulation

Tao Li, Chris Clifton|arXiv (Cornell University)|Mar 8, 2021

Face recognition and analysis参考文献 31被引用 8

一句话总结

本文提出了首个用于图像混淆的差分隐私方法，通过向生成模型的潜在空间添加噪声，保护图像中个体的隐私，同时在保证形式化 $\varepsilon$-差分隐私的前提下，保持感知质量和语义保真度。该方法通过潜在空间裁剪和拉普拉斯机制注入噪声，平衡隐私与真实感，生成高质量、匿名化的面部图像，有效抵抗再识别攻击。

ABSTRACT

There is growing concern about image privacy due to the popularity of social media and photo devices, along with increasing use of face recognition systems. However, established image de-identification techniques are either too subject to re-identification, produce photos that are insufficiently realistic, or both. To tackle this, we present a novel approach for image obfuscation by manipulating latent spaces of an unconditionally trained generative model that is able to synthesize photo-realistic facial images of high resolution. This manipulation is done in a way that satisfies the formal privacy standard of local differential privacy. To our knowledge, this is the first approach to image privacy that satisfies $\varepsilon$-differential privacy \emph{for the person.}

研究动机与目标

• 为解决传统图像混淆方法（如模糊化和像素化）在保护隐私方面效果有限且降低图像可用性的问题。
• 通过在个体层面定义 $\varepsilon$-差分隐私，而非仅在像素层面，为图像中个体提供正式的隐私保障。
• 在确保抵抗再识别攻击的同时，保持混淆后图像的高感知质量和语义保真度。
• 开发一个面向现实世界应用的、基于生成模型的差分隐私成像实用框架。
• 通过在潜在空间中控制噪声和裁剪，探索隐私（由 $\varepsilon$ 控制）与图像保真度之间的权衡。

提出的方法

• 该方法使用预训练的 StyleGAN 模型将输入图像编码到潜在空间，实现语义层面的操控。
• 通过拉普拉斯机制向潜在向量添加噪声，确保图像中个体的 $\varepsilon$-差分隐私。
• 引入裁剪步骤以限制潜在表示的敏感度，从而实现形式化的隐私保障并提升图像质量。
• 随后使用生成器将经过隐私保护的潜在向量解码回图像，生成具有差分隐私保证的、逼真的输出图像。
• 隐私预算 $\varepsilon$ 分配给潜在空间的各个分量，总隐私损失计算为各分量贡献的总和。
• 通过调整噪声尺度和裁剪阈值，该框架支持不同隐私-效用权衡的配置。

实验结果

研究问题

• RQ1 能否在图像中个体的层面上正式应用差分隐私，而非仅在像素层面？
• RQ2 潜在空间操作如何在确保强隐私保障的同时，保持语义和感知质量？
• RQ3 潜在空间中的裁剪对图像保真度和隐私鲁棒性有何影响？
• RQ4 不同的隐私预算（$\varepsilon$）如何影响隐私与图像质量之间的权衡？
• RQ5 潜在空间的随机扰动能否防止再识别攻击，同时保持逼真的图像输出？

主要发现

• 所提出的方法在图像中个体层面实现了 $\varepsilon$-差分隐私，这是首次在个体层面对此类隐私进行正式定义。
• 在 25% 和 75% 分位数处对潜在空间进行裁剪，显著提升了图像质量与抗噪能力，相比未裁剪设置，失真程度更低。
• 随着隐私预算 $\varepsilon$ 增大，PSNR、SSIM 和 FID 指标均提升，表明像素级失真减少，且与原始图像的语义相似度更高。
• 即使在 $\varepsilon$ 较低（噪声较高）的情况下，生成的图像仍能清晰识别为面部图像，关键语义特征（如面部表情和姿态）得以保留。
• 同一图像的多个经隐私化处理的输出因随机性而不同，证明该机制对重建攻击具有抵抗能力。
• 当 $\varepsilon$ 足够大时，该方法保持了高感知质量，当 $\varepsilon$ 较大（例如 $\varepsilon = \infty$）时，FID 分数趋近于原始图像的水平。