[论文解读] Can Synthetic Faces Undo the Damage of Dataset Bias to Face Recognition and Facial Landmark Detection?

Adam Kortylewski, Bernhard Egger+6 more|arXiv (Cornell University)|Nov 19, 2018

Face recognition and analysis参考文献 62被引用 11

一句话总结

本文提出使用从3D可变形人脸模型生成的合成人脸图像，以减少人脸识别和面部关键点检测中的数据集偏差。通过在真实数据微调前，先在多样化、可控的合成数据上预训练深度网络，该方法提升了泛化能力，将所需的真实世界训练数据减少高达75%，并优于数据增强和迁移学习。

ABSTRACT

It is well known that deep learning approaches to face recognition and facial landmark detection suffer from biases in modern training datasets. In this work, we propose to use synthetic face images to reduce the negative effects of dataset biases on these tasks. Using a 3D morphable face model, we generate large amounts of synthetic face images with full control over facial shape and color, pose, illumination, and background. With a series of experiments, we extensively test the effects of priming deep nets by pre-training them with synthetic faces. We observe the following positive effects for face recognition and facial landmark detection tasks: 1) Priming with synthetic face images improves the performance consistently across all benchmarks because it reduces the negative effects of biases in the training data. 2) Traditional approaches for reducing the damage of dataset bias, such as data augmentation and transfer learning, are less effective than training with synthetic faces. 3) Using synthetic data, we can reduce the size of real-world datasets by 75% for face recognition and by 50% for facial landmark detection while maintaining performance. Thus, offering a means to focus the data collection process on less but higher quality data.

研究动机与目标

• 为解决人脸识别和面部关键点检测中长期存在的数据集偏差问题，该问题限制了模型在多样化身份、姿态和光照条件下的泛化能力。
• 探究在真实世界数据集存在偏差且规模有限的情况下，合成人脸数据是否能提升模型性能。
• 评估在合成数据上进行预训练是否能减少对大规模真实世界数据集的依赖，同时保持或提升性能。
• 对比合成数据预训练与标准技术（如数据增强和来自通用分类任务的迁移学习）的有效性。
• 证明在微调过程中，合成数据能够保留有益知识，避免灾难性遗忘。

提出的方法

• 使用3D可变形人脸模型（3DMM）生成合成人脸图像，从而对人脸形状、肤色、姿态、光照和背景实现完全控制。
• 设计的合成数据集在关键属性（如头部姿态、面部身份和表情）上具有多样性和无偏性，这些属性在真实数据中难以标注。
• 深度神经网络首先在合成数据上进行预训练，然后在不同量的真实世界训练数据上进行微调。
• 通过多个人脸识别和面部关键点检测基准测试评估性能，以衡量泛化能力和数据效率。
• 将该方法与基线方法进行比较，包括随机初始化、数据增强（镜像和旋转）以及从ImageNet迁移学习。
• 系统性地改变微调阶段使用的实际数据量，以衡量数据效率的提升。

实验结果

研究问题

• RQ1 使用合成人脸图像进行预训练是否能减少人脸识别和面部关键点检测中数据集偏差的负面影响？
• RQ2 与数据增强和来自通用分类任务的迁移学习相比，合成数据预训练在有效性上如何？
• RQ3 在使用合成数据进行预训练时，可在多大程度上减少真实世界训练数据量而不牺牲性能？
• RQ4 在大规模真实世界数据集上进行微调是否会引致对从合成数据中学到的知识的灾难性遗忘？
• RQ5 合成数据在姿态和身份方面的多样性是否能提升模型在基准数据集上的泛化能力？

主要发现

• 在所有基准数据集上，使用合成人脸进行预训练均一致地提升了人脸识别和面部关键点检测的泛化性能。
• 当真实数据有限时，合成预训练带来的性能增益超过数据增强和来自ImageNet的迁移学习，优势更为显著。
• 当在合成数据上预训练后，人脸识别模型仅使用原始真实世界训练数据的25%即可达到具有竞争力的性能，意味着真实数据需求减少了75%。
• 面部关键点检测模型在仅使用原始真实世界训练数据50%的情况下，通过合成数据预训练仍能保持性能，表明数据需求减少了50%。
• 在大规模真实世界数据集上微调后未观察到灾难性遗忘，表明合成数据的知识得以保留。
• 性能提升的关键驱动因素是合成数据中头部姿态和面部身份的更高变异性，这有效缓解了真实世界数据集中存在的偏差。