[论文解读] IdentityDP: Differential Private Identification Protection for Face Images

Yunqian Wen, Song Li+3 more|arXiv (Cornell University)|Mar 2, 2021

Face recognition and analysis被引用 4

一句话总结

该论文提出 IdentityDP，一种新颖的人脸去标识化框架，通过将差分隐私（DP）与解耦 GAN 相结合，在保持视觉质量的同时实现可调节的隐私-效用权衡。通过在特定身份的特征上应用 DP 扰动，并利用固定生成器重建图像，IdentityDP 在无需预标注或外部身份引导的情况下，实现了高感知相似性与强隐私保障。

ABSTRACT

Because of the explosive growth of face photos as well as their widespread dissemination and easy accessibility in social media, the security and privacy of personal identity information becomes an unprecedented challenge. Meanwhile, the convenience brought by advanced identity-agnostic computer vision technologies is attractive. Therefore, it is important to use face images while taking careful consideration in protecting people's identities. Given a face image, face de-identification, also known as face anonymization, refers to generating another image with similar appearance and the same background, while the real identity is hidden. Although extensive efforts have been made, existing face de-identification techniques are either insufficient in photo-reality or incapable of well-balancing privacy and utility. In this paper, we focus on tackling these challenges to improve face de-identification. We propose IdentityDP, a face anonymization framework that combines a data-driven deep neural network with a differential privacy (DP) mechanism. This framework encompasses three stages: facial representations disentanglement, $ε$-IdentityDP perturbation and image reconstruction. Our model can effectively obfuscate the identity-related information of faces, preserve significant visual similarity, and generate high-quality images that can be used for identity-agnostic computer vision tasks, such as detection, tracking, etc. Different from the previous methods, we can adjust the balance of privacy and utility through the privacy budget according to pratical demands and provide a diversity of results without pre-annotations. Extensive experiments demonstrate the effectiveness and generalization ability of our proposed anonymization framework.

研究动机与目标

• 应对社交媒体和公开数据集中人脸图像广泛传播所带来的日益增长的隐私风险。
• 克服现有面部匿名化方法的局限性，包括视觉质量差、依赖目标系统访问权限以及对预标注的依赖。
• 通过可微分、数据驱动的框架实现可调节的隐私-效用权衡，同时为计算机视觉任务保留与身份无关的效用。
• 提供一种可泛化的、无需标注的解决方案，在各种人脸图像（包括光照条件复杂或艺术风格画像）中保持高视觉保真度。

提出的方法

• 采用解耦 GAN 在潜在特征空间中将身份表征与多层次属性表征分离。
• 直接对解耦的身份表征应用 ε-IdentityDP 扰动，以确保形式化的差分隐私保障。
• 固定训练好的 GAN 生成器，并使用扰动后的身份编码与未改变的属性编码重建匿名化图像。
• 使用方差根据隐私预算 ε 校准的噪声张量来控制模糊程度。
• 通过对抗性损失和身份重建损失训练解耦 GAN，以维持图像的视觉相似性。
• 在推理阶段集成 DP 机制，使用户可根据需求调整 ε 以实现理想的隐私-效用平衡。

实验结果

研究问题

• RQ1 结合差分隐私的深度生成模型能否在保持高视觉保真度的同时有效匿名化人脸图像？
• RQ2 与最先进方法相比，所提出的 IdentityDP 框架在隐私保护与图像效用之间如何实现平衡？
• RQ3 IdentityDP 在未见过的人脸图像上（包括光照条件复杂或艺术风格）的泛化能力如何？
• RQ4 IdentityDP 是否能在不依赖预标注、外部身份提供方或目标系统参数访问的情况下实现隐私保护？

主要发现

• 在 CelebA 和 NIST 挑战图像上的定性比较显示，IdentityDP 的视觉相似性优于 CIAGAN。
• 定量结果表明，IdentityDP 在保持更高图像效用（以 FID 和 LPIPS 衡量）的同时，提供了更强的隐私保护。
• Fawkes（一种基于对抗性扰动的方法）尽管视觉相似度高，但在隐私指标上表现较差，表明其隐私保障较弱。
• IdentityDP 对挑战性输入（如低光照、高对比度、艺术风格画像）具有良好的泛化能力，且无可见伪影或失真。
• 该框架计算开销极低，在 NVIDIA GTX 1080 Ti 上平均处理每张图像仅需 0.329 秒。
• 该方法支持可调节的隐私预算（ε），可在不重新训练或预标注的情况下实现多样化的匿名化结果。