[论文解读] CFA-Net: Controllable Face Anonymization Network with Identity Representation Manipulation

Tianxiang Ma, Dongze Li+2 more|arXiv (Cornell University)|May 24, 2021

Face recognition and analysis参考文献 43被引用 11

一句话总结

CFA-Net 提出了一种可控的人脸匿名化框架，通过在解耦表示空间中分离身份与非身份相关属性，实现通过操纵身份向量的灵活且精确的匿名化。该方法在匿名化效果、图像质量和可控性方面均达到最先进水平，在 CelebA-HQ 上实现 FID 为 2.193，匿名化成功率高达 98.8%。

ABSTRACT

De-identification of face data has drawn increasing attention in recent years. It is important to protect people's identities meanwhile keeping the utility of the data in many computer vision tasks. We propose a Controllable Face Anonymization Network (CFA-Net), a novel approach that can anonymize the identity of given faces in images and videos, based on a generator that can disentangle face identity from other image contents. We reach the goal of controllable face anonymization through manipulating identity vectors in the generator's identity representation space. Various anonymized faces deriving from an original face can be generated through our method and maintain high similarity to the original image contents. Quantitative and qualitative results demonstrate our method's superiority over literature models on visual quality and anonymization validity.

研究动机与目标

• 为解决现有面部匿名化方法缺乏可控性的问题，这些方法通常产生固定或低质量的输出。
• 在有效匿名化身份特征的同时，保留与身份无关的属性，如姿态、表情和发型。
• 确保匿名化后的面部不会泄露数据库中其他个体的身份信息。
• 实现灵活的、用户可控的匿名化，支持可调节的身份修改程度。
• 将训练阶段与匿名化阶段解耦，消除对参考身份或额外监督的依赖。

提出的方法

• 该方法采用具有解耦身份表示空间的生成器，通过对抗性训练将身份与内容分离。
• 通过使用身份专用编码器和内容专用编码器的双分支网络，结合身份重建损失和内容重建损失进行训练，实现身份解耦。
• 通过在解耦空间中采样并修改原始身份向量，同时保持内容向量不变，完成匿名化。
• 模型使用内容一致性损失，以保留原始人脸的纹理、颜色和结构细节。
• 应用身份损失以确保模型学习到可被用于匿名化的有意义的身份表示。
• 该框架在大规模人脸数据集上端到端训练，实现对未见过的人脸的零样本匿名化，无需参考图像。

实验结果

研究问题

• RQ1 是否可以通过在解耦表示空间中直接操纵身份向量，使人脸匿名化实现可控性？
• RQ2 在匿名化过程中，与身份无关的属性（如姿态和表情）能被多大程度地保留？
• RQ3 与先前工作相比，该方法在匿名化成功率和图像质量指标方面表现如何？
• RQ4 关键损失函数（内容损失和身份损失）对匿名化质量与效果有何影响？
• RQ5 该方法能否有效应用于视频序列，同时保持时间上的一致性？

主要发现

• CFA-Net 在 CelebA-HQ 上实现 Fréchet Inception Distance (FID) 为 2.193，显著优于先前方法（例如，Maximov 等人方法的 FID 为 2.663）。
• 与先前工作相比，模型的 LPIPS 得分为 0.177，表明与原始图像具有较高的感知相似性（先前工作为 0.221）。
• CFA-Net 实现 98.8% 的匿名化成功率，高于无内容损失消融实验的 93.7% 和无身份损失消融实验的 0.4%。
• 方法在检测到的人脸区域保持较高的 SSIM（0.865）和 PSNR（21.26），表明结构和像素级保真度强。
• 多种检测器的面部检测率保持较高水平（MTCNN：92.0%，Dlib：95.9%，SSH：100%），证实其在下游任务中的实用性。
• 消融研究证实，内容损失和身份损失均至关重要：移除任一损失均导致图像质量严重下降或匿名化失败。