[论文解读] FICGAN: Facial Identity Controllable GAN for De-identification

Yonghyun Jeong, Jooyoung Choi+6 more|arXiv (Cornell University)|Oct 2, 2021

Face recognition and analysis参考文献 38被引用 8

一句话总结

FICGAN 是一种基于条件生成对抗网络的面部去标识化模型，通过空间码和对比损失实现身份与非身份属性的解耦，从而生成高保真度、k-匿名的面部图像，并可控制地保留姿态、表情和光照等属性。该方法在隐私保护和属性保真度方面达到当前最优性能，在FID和属性保留度指标上优于先前方法。

ABSTRACT

In this work, we present Facial Identity Controllable GAN (FICGAN) for not only generating high-quality de-identified face images with ensured privacy protection, but also detailed controllability on attribute preservation for enhanced data utility. We tackle the less-explored yet desired functionality in face de-identification based on the two factors. First, we focus on the challenging issue to obtain a high level of privacy protection in the de-identification task while uncompromising the image quality. Second, we analyze the facial attributes related to identity and non-identity and explore the trade-off between the degree of face de-identification and preservation of the source attributes for enhanced data utility. Based on the analysis, we develop Facial Identity Controllable GAN (FICGAN), an autoencoder-based conditional generative model that learns to disentangle the identity attributes from non-identity attributes on a face image. By applying the manifold k-same algorithm to satisfy k-anonymity for strengthened security, our method achieves enhanced privacy protection in de-identified face images. Numerous experiments demonstrate that our model outperforms others in various scenarios of face de-identification.

研究动机与目标

• 解决面部去标识化中强隐私保护与高数据效用之间的权衡问题。
• 实现在去标识化过程中对特定面部属性（例如姿态、表情）的细粒度控制。
• 通过在潜在空间应用 k-same 算法，实现 k-匿名性以增强隐私保护的鲁棒性。
• 克服人脸替换和平均化方法导致图像质量下降或身份泄露的局限性。
• 开发一种解耦的生成模型，在模糊身份主导特征的同时保留非身份属性。

提出的方法

• 采用基于自编码器的条件生成对抗网络，利用空间码 $z_s$ 编码源图像特征，实现解耦生成。
• 通过 $\mathcal{L}_{\text{pos}}$ 和 $\mathcal{L}_{\text{neg}}$ 的对比学习，在潜在空间中强制实现身份解耦。
• 应用流形 $k$-same 算法在潜在空间混合 $k$ 个面部嵌入，实现 $k$-匿名性。
• 集成逐层生成器，以实现对去标识化强度和属性保留的细粒度控制。
• 利用身份与非身份属性的解耦，将身份模糊化与属性保留解耦。
• 使用 FID 和 ID 相似性度量，同时优化图像真实感与隐私保护。

实验结果

研究问题

• RQ1 如何在保留姿态、表情和光照等非身份属性的同时，有效实现面部身份的去标识化？
• RQ2 在不牺牲图像质量的前提下，面部去标识化中可实现多大程度的 $k$-匿名性？
• RQ3 在基于生成对抗网络的去标识化中，身份模糊化与属性保留之间的最优权衡是什么？
• RQ4 对比学习能否改善面部生成中身份与非身份属性的解耦效果？
• RQ5 空间码 $z_s$ 在去标识化过程中如何促进源属性的保留？

主要发现

• FICGAN 在对比方法中实现了最低的 Fréchet Inception Distance (FID) 值 85.44，表明其图像质量和真实感更优。
• 在 $k$-匿名性下，FICGAN 保持了较低的 ID 相似度 0.091，隐私保护性能优于 IDDis，同时保留了更多属性。
• 消融实验表明，若移除 $\mathcal{L}_{\text{neg}}$，ID 相似度上升至 0.312，表明解耦质量下降。
• 若不使用空间码 $z_s$，属性保留性能显著下降，属性保留得分从完整模型的 81.35 降至 74.49。
• 该模型在多样化的测试集中成功保留了头部姿态、表情、肤色和发型等属性，即使在 $k$-匿名性约束下亦然。
• FICGAN 在 FID 和属性保真度方面均优于 APFD 和 FSGAN+$k$-same，在 $k$-匿名性下表现稳定，而其他方法则出现 FID 值大幅波动。