[论文解读] FaceMAE: Privacy-Preserving Face Recognition via Masked Autoencoders

Kai Wang, Bo Zhao+6 more|arXiv (Cornell University)|May 23, 2022

Face recognition and analysis被引用 6

一句话总结

FaceMAE 提出了一种基于掩码自编码器的隐私保护人脸识别框架，通过从掩码输入重建人脸图像，在保留识别实用性的同时实现隐私保护。通过用实例关系匹配（IRM）替代标准的MSE损失，FaceMAE最小化了真实人脸与重建人脸之间的分布差异，使成员隐私泄露风险降低约20%，并在LFW、CFP-FP和AgeDB上将识别错误率降低至少50%，优于当前最先进方法。

ABSTRACT

Face recognition, as one of the most successful applications in artificial intelligence, has been widely used in security, administration, advertising, and healthcare. However, the privacy issues of public face datasets have attracted increasing attention in recent years. Previous works simply mask most areas of faces or synthesize samples using generative models to construct privacy-preserving face datasets, which overlooks the trade-off between privacy protection and data utility. In this paper, we propose a novel framework FaceMAE, where the face privacy and recognition performance are considered simultaneously. Firstly, randomly masked face images are used to train the reconstruction module in FaceMAE. We tailor the instance relation matching (IRM) module to minimize the distribution gap between real faces and FaceMAE reconstructed ones. During the deployment phase, we use trained FaceMAE to reconstruct images from masked faces of unseen identities without extra training. The risk of privacy leakage is measured based on face retrieval between reconstructed and original datasets. Experiments prove that the identities of reconstructed images are difficult to be retrieved. We also perform sufficient privacy-preserving face recognition on several public face datasets (i.e. CASIA-WebFace and WebFace260M). Compared to previous state of the arts, FaceMAE consistently extbf{reduces at least 50\% error rate} on LFW, CFP-FP and AgeDB.

研究动机与目标

• 解决在用于训练深度人脸识别模型的公开人脸数据集中日益增长的成员隐私泄露问题。
• 克服以往方法（如模糊化、掩码处理或基于GAN的生成）在降低数据效用或无法泛化到未见身份方面的局限性。
• 通过从掩码输入重建语义有意义且身份保持的人脸图像，同时实现隐私保护与高识别性能。
• 开发一种无需微调即可在未见身份上部署的框架，确保可扩展性与实用性。
• 通过使重建人脸在检索任务中与原始图像难以区分，最小化成员推理攻击的风险。

提出的方法

• 在随机掩码的人脸图像上训练掩码自编码器（MAE），以重建原始人脸分布。
• 用实例关系匹配（IRM）模块替代标准的MSE损失，以对齐真实人脸与重建人脸的特征关系图。
• 利用IRM最小化真实人脸与重建人脸特征之间的分布差距，从而提升识别实用性。
• 在部署阶段，应用训练好的FaceMAE对未见身份的掩码人脸进行重建，无需额外微调。
• 通过原始数据集与重建数据集之间的面部检索准确率来衡量隐私泄露风险，以评估成员隐私保护效果。
• 使用超参数β控制IRM损失的权重，以优化隐私与性能之间的权衡。

实验结果

研究问题

• RQ1 结合实例关系匹配的掩码自编码器能否在降低隐私泄露的同时重建保留识别实用性的面部图像？
• RQ2 与传统掩码方法和基于GAN的方法相比，FaceMAE在人脸识别准确率和隐私保护方面表现如何？
• RQ3 IRM模块在多大程度上缩小了真实人脸与重建人脸特征之间的分布差距？
• RQ4 FaceMAE对不同掩码模式和位置（如眼睛、嘴巴）的鲁棒性如何？
• RQ5 IRM损失权重超参数β对隐私与识别性能平衡的影响是什么？

主要发现

• 与最先进方法相比，FaceMAE在LFW、CFP-FP和AgeDB上的面部识别错误率降低了至少50%。
• 通过原始数据集与重建数据集之间的检索准确率衡量的隐私泄露风险降低了约20%。
• 与标准MAE或基于GAN的方法相比，FaceMAE的重建结果在特征分布上与真实人脸的对齐效果显著更优。
• 即使在掩码关键面部区域（如眼睛和嘴巴）的情况下，该方法仍保持较强的性能，尽管相比全脸掩码略有下降。
• 当IRM损失权重β超过1.0后，性能开始下降，表明在β ≈ 1.0处存在最优权衡点。
• '原始到FaceMAE'的检索性能远低于'原始到原始'，也低于'原始到MAE'，证实了FaceMAE在隐私保护方面的有效性及其优越性。