[论文解读] A Utility-Preserving GAN for Face Obscuration

Hanxiang Hao, David Güera+2 more|arXiv (Cornell University)|Jun 27, 2019

Generative Adversarial Networks and Image Synthesis参考文献 24被引用 14

一句话总结

该论文提出UP-GAN，一种实用型保留的生成对抗网络，可生成模糊身份但保留非识别性面部特征（如年龄、性别、肤色、姿态和表情）的合成人脸。通过基于实用属性和关键点进行条件生成，UP-GAN在身份保护和实用特征保留方面优于高斯模糊、像素化和k-same方法，视觉真实感更强，FID得分为68.78，为所有方法中最低。

ABSTRACT

From TV news to Google StreetView, face obscuration has been used for privacy protection. Due to recent advances in the field of deep learning, obscuration methods such as Gaussian blurring and pixelation are not guaranteed to conceal identity. In this paper, we propose a utility-preserving generative model, UP-GAN, that is able to provide an effective face obscuration, while preserving facial utility. By utility-preserving we mean preserving facial features that do not reveal identity, such as age, gender, skin tone, pose, and expression. We show that the proposed method achieves the best performance in terms of obscuration and utility preservation.

研究动机与目标

• 为解决传统人脸模糊方法（如高斯模糊和像素化）在对抗深度学习身份重建攻击时的失效问题。
• 保留非识别性面部实用特征（如年龄、性别、肤色、姿态和表情），以支持视觉理解与数据挖掘等下游应用。
• 开发一种基于生成对抗网络的方法，无需访问原始可识别人脸数据，即可生成逼真且已模糊的人脸。
• 通过仅依赖实用特征生成人脸，实现k-匿名性，确保无法通过单个图像重新识别身份。

提出的方法

• UP-GAN采用条件生成对抗网络框架，其中生成器基于潜在向量和实用条件向量（属性与关键点）生成模糊人脸。
• 生成器通过辅助检测系统从原始人脸中提取静态属性向量（年龄、性别、肤色）和动态关键点向量（面部关键点）进行条件控制。
• 模型采用多种损失函数：对抗损失用于提升真实感，L1损失用于像素级保真度，掩码损失用于增强面部边界定义，感知损失用于减少波纹状伪影。
• 判别器通过区分真实人脸与生成的模糊人脸进行训练，从而引导生成器输出更具真实感的结果。
• 通过仅使用实用特征而非原始人脸输入，避免在训练过程中泄露可识别信息。
• 最终的模糊图像通过用生成的人脸替换原始人脸区域生成，同时保留非人脸上下文信息。

实验结果

研究问题

• RQ1 基于生成对抗网络的方法能否有效模糊人脸，同时保留非识别性面部特征（如年龄、性别、肤色、姿态和表情）？
• RQ2 在身份保护与视觉质量方面，UP-GAN相较于传统方法（如高斯模糊、像素化和k-same）的表现如何？
• RQ3 多种损失函数（对抗损失、L1损失、掩码损失、感知损失）的使用在多大程度上提升了生成模糊人脸的真实感与边界清晰度？
• RQ4 在两种威胁模型下——攻击者对方法一无所知与攻击者知晓方法——UP-GAN的模糊性能是否保持稳定？
• RQ5 模型能否通过仅依赖实用特征生成人脸实现k-匿名性，从而防止身份被重新识别？

主要发现

• UP-GAN在所有评估方法中取得最低的Fréchet Inception Distance（FID）得分68.78，表明其生成的模糊人脸具有最高的视觉真实感。
• 在威胁模型I（攻击者不知情）下，除使用核大小为5和15的高斯模糊外，所有方法均表现出高模糊性能，UP-GAN的人脸识别准确率仅为0.004。
• 在威胁模型II（攻击者知情）下，UP-GAN仍保持强劲的模糊性能，人脸识别准确率为0.245，优于像素化-25（0.191）、k-same（0.028）和k-same-net（0.238）。
• 视觉对比显示，UP-GAN生成的人脸边界更清晰，伪影更少，面部结构更自然，优于k-same-net和像素化方法。
• 引入感知损失与掩码损失显著提升了视觉质量，有效减少了波纹状伪影并增强了面部轮廓定义。
• UP-GAN在确保身份无法被重建的同时，成功保留了年龄、性别、肤色、姿态和表情等实用特征。