[论文解读] Gender Privacy: An Ensemble of Semi Adversarial Networks for Confounding Arbitrary Gender Classifiers

Vahid Mirjalili, Sebastian Raschka+1 more|arXiv (Cornell University)|Jul 31, 2018

Face recognition and analysis被引用 6

一句话总结

本文提出一种半对抗性网络（SAN）集成模型，通过生成多样化的扰动来干扰任意未知的性别分类器，同时保持人脸匹配器的性能。通过使用不同数据增强策略训练多个SAN，该方法确保至少一个扰动输出能有效欺骗任何未知的性别分类器，显著提升了单个SAN方法的泛化能力。

ABSTRACT

Recent research has proposed the use of Semi Adversarial Networks (SAN) for imparting privacy to face images. SANs are convolutional autoencoders that perturb face images such that the perturbed images cannot be reliably used by an attribute classifier (e.g., a gender classifier) but can still be used by a face matcher for matching purposes. However, the generalizability of SANs across multiple arbitrary gender classifiers has not been demonstrated in the literature. In this work, we tackle the generalization issue by designing an ensemble SAN model that generates a diverse set of perturbed outputs for a given input face image. This is accomplished by enforcing diversity among the individual models in the ensemble through the use of different data augmentation techniques. The goal is to ensure that at least one of the perturbed output faces will confound an arbitrary, previously unseen gender classifier. Extensive experiments using different unseen gender classifiers and face matchers are performed to demonstrate the efficacy of the proposed paradigm in imparting gender privacy to face images.

研究动机与目标

• 解决单个半对抗性网络（SAN）在应对任意未知性别分类器时泛化能力有限的问题。
• 通过确保扰动对多种先前未知的性别分类器仍具有效性，提升人脸图像中的性别隐私保护。
• 在扰动图像上保持高的人脸匹配准确率，以维持生物识别系统的实用性。
• 开发一种实用且可部署的方法，用于现实生物识别系统中隐私保护的人脸图像转换。

提出的方法

• 训练五个独立的SAN模型组成的集成模型，每个模型在训练过程中使用不同的数据增强策略，以促进扰动模式的多样性。
• 每个SAN均为一个卷积自编码器，采用双重损失进行训练：一是最小化重建误差，二是误导性别分类器，同时保持人脸匹配器的实用性。
• 使用未见匹配器（如FaceNet、OpenFace）生成的人脸嵌入之间的余弦相似度，评估扰动图像上的生物识别实用性。
• 对每张输入人脸，生成五个不同的扰动输出；根据性别分类器的置信度分数，为每张图像选择表现最佳的扰动。
• 实际应用中随机选择五个扰动输出之一，以确保对未知分类器的鲁棒性。
• 在四个基准数据集（CelebA-test、MORPH-test、MUCT、LFW、RaFD）上进行评估，使用多个未见过的性别分类器和人脸匹配器。

实验结果

研究问题

• RQ1 与单个SAN相比，SAN集成模型在干扰任意未知性别分类器方面是否具有更好的泛化能力？
• RQ2 多个SAN模型之间扰动的多样性是否能提升对未知性别分类器的鲁棒性？
• RQ3 在扰动后，人脸匹配性能在多个未见过的人脸匹配器上保留程度如何？
• RQ4 在不了解目标性别分类器的情况下，从集成模型中随机选择扰动是否仍能实现强大的性别隐私保护？

主要发现

• 与单个SAN模型相比，集成SAN（E3）在干扰未知性别分类器方面表现显著更优，至少一个扰动输出在所有测试分类器上均显著降低性能。
• 平均而言，E3集成模型中最佳扰动输出使性别分类器AUC下降超过30%，相较于原始图像，展现出强大的干扰能力。
• 人脸匹配器性能基本得以保留：M-COTS和DR-GAN在扰动图像与原始图像上的表现几乎完全一致，DR-GAN在RaFD数据集上仅出现轻微退化。
• FaceNet和OpenFace在扰动图像上表现出轻微的性能下降，表明对扰动具有较强鲁棒性。
• 从集成模型中随机选择扰动的性能优于任意单个SAN模型，证实了多样性带来的价值。
• 该方法在所有四个评估数据集上均保持了生物识别实用性，证明了其在现实世界部署中的实际可行性。