[论文解读] MorphGAN: One-Shot Face Synthesis GAN for Detecting Recognition Bias

Nataniel Ruiz, Barry-John Theobald+3 more|arXiv (Cornell University)|Dec 9, 2020

Face recognition and analysis参考文献 45被引用 7

一句话总结

MorphGAN 是一种条件 GAN，能够仅使用一张参考图像和一个 3D 可变形模型，生成具有高保真度的面部图像，同时控制头部姿态和面部表情的变化并保持身份特征。该方法可用于检测人脸识别系统中的偏差，并在小样本数据集上进行数据增强时，将识别准确率提升高达 9%。

ABSTRACT

To detect bias in face recognition networks, it can be useful to probe a network under test using samples in which only specific attributes vary in some controlled way. However, capturing a sufficiently large dataset with specific control over the attributes of interest is difficult. In this work, we describe a simulator that applies specific head pose and facial expression adjustments to images of previously unseen people. The simulator first fits a 3D morphable model to a provided image, applies the desired head pose and facial expression controls, then renders the model into an image. Next, a conditional Generative Adversarial Network (GAN) conditioned on the original image and the rendered morphable model is used to produce the image of the original person with the new facial expression and head pose. We call this conditional GAN -- MorphGAN. Images generated using MorphGAN conserve the identity of the person in the original image, and the provided control over head pose and facial expression allows test sets to be created to identify robustness issues of a facial recognition deep network with respect to pose and expression. Images generated by MorphGAN can also serve as data augmentation when training data are scarce. We show that by augmenting small datasets of faces with new poses and expressions improves the recognition performance by up to 9% depending on the augmentation and data scarcity.

研究动机与目标

• 为解决由于训练数据中姿态和表情多样性不足而导致的人脸识别模型识别偏差检测难题。
• 开发一种方法，仅从一张参考图像生成逼真且身份特征保持不变的面部图像，同时实现姿态和表情的可控变化。
• 通过仅改变一个属性（姿态或表情）的测试集生成，实现对人脸识别模型敏感性的测试。
• 通过使用合成生成的多样化姿态和表情对小样本数据集进行数据增强，提升人脸识别系统的鲁棒性。
• 将 3D 可变形模型与条件 GAN 结合，实现在无需多张参考图像的情况下，生成高保真度且可控的面部图像。

提出的方法

• 使用 3D 可变形模型拟合，从单张输入图像中估计 FLAME 3D 面部模型参数（形状、姿态、表情）。
• 调整估计的 3D 模型参数以应用所需的头部姿态和面部表情变化，然后渲染出新的 3D 面部图像。
• 训练一个条件 GAN（MorphGAN），以原始图像和渲染的 3D 模型作为输入，生成与新姿态和表情一致的、身份相同的逼真图像。
• 使用全局判别器，输入真实或生成的图像、形状渲染图和风格向量，以增强真实感和一致性。
• 采用局部判别器，评估图像的局部真实感，以改善细节表现并减少伪影。
• 通过按姿态差异分箱来平衡训练批次，以提升在大姿态变化下的泛化能力并减少伪影。

实验结果

研究问题

• RQ1 条件 GAN 是否能够仅从一张参考图像生成具有可控姿态和表情变化的逼真面部图像，同时保持身份特征？
• RQ2 MorphGAN 生成的图像在检测与姿态和面部表情相关的识别偏差方面，其有效性如何？
• RQ3 MorphGAN 作为数据增强技术，在小样本数据集上提升人脸识别性能方面有多有效？
• RQ4 与现有基于 GAN 的面部图像生成方法相比，MorphGAN 在身份保持和属性控制方面表现如何？
• RQ5 将 3D 可变形模型与条件 GAN 结合，是否能产生比有限监督下的端到端 GAN 更高保真度的结果？

主要发现

• 通过定性对比验证，MorphGAN 能够成功生成高保真度的面部图像，精确控制姿态和面部表情变化，同时保持身份特征。
• 该方法可通过仅改变一个属性（姿态或表情）的受控测试集，实现对人脸识别模型敏感性的有效测试。
• 在用于数据增强时，MorphGAN 在小样本数据集上可将人脸识别准确率提升高达 9%，具体提升幅度取决于增强策略和数据稀缺程度。
• 通过按姿态差异分箱平衡训练批次，显著提升了姿态保真度并减少了伪影，尤其在大姿态变化下效果明显。
• 即使仅使用一张参考图像，MorphGAN 在身份保持和视觉质量方面仍优于基线方法（如 Zakharov et al. [50] 和 X2Face [49]）。
• 同时使用全局判别器和局部判别器，显著提升了生成图像的真实感和细节一致性，尤其在面部纹理和几何结构方面。