[论文解读] A realistic approach to generate masked faces applied on two novel masked face recognition data sets

Tudor Mare, Georgian Duta+5 more|arXiv (Cornell University)|Sep 3, 2021

Face recognition and analysis被引用 6

一句话总结

本文提出了一种使用 SparkAR Studio 生成合成遮挡人脸的现实方法，将 CASIA-WebFace 和 CelebA 数据集扩展了 640,446 个带口罩的人脸样本。该方法显著提升了带口罩人脸识别的性能，使用增强数据训练的模型在真实世界带口罩基准测试中表现优于使用原始数据或不那么真实的带口罩数据训练的模型，尤其在真实世界带口罩测试集上表现更优。

ABSTRACT

The COVID-19 pandemic raises the problem of adapting face recognition systems to the new reality, where people may wear surgical masks to cover their noses and mouths. Traditional data sets (e.g., CelebA, CASIA-WebFace) used for training these systems were released before the pandemic, so they now seem unsuited due to the lack of examples of people wearing masks. We propose a method for enhancing data sets containing faces without masks by creating synthetic masks and overlaying them on faces in the original images. Our method relies on SparkAR Studio, a developer program made by Facebook that is used to create Instagram face filters. In our approach, we use 9 masks of different colors, shapes and fabrics. We employ our method to generate a number of 445,446 (90%) samples of masks for the CASIA-WebFace data set and 196,254 (96.8%) masks for the CelebA data set, releasing the mask images at https://github.com/securifai/masked_faces. We show that our method produces significantly more realistic training examples of masks overlaid on faces by asking volunteers to qualitatively compare it to other methods or data sets designed for the same task. We also demonstrate the usefulness of our method by evaluating state-of-the-art face recognition systems (FaceNet, VGG-face, ArcFace) trained on our enhanced data sets and showing that they outperform equivalent systems trained on original data sets (containing faces without masks) or competing data sets (containing masks generated by related methods), when the test benchmarks contain masked faces.

研究动机与目标

• 解决训练鲁棒人脸识别系统时缺乏真实、大规模带口罩人脸数据的问题。
• 缓解 COVID-19 大流行期间广泛佩戴口罩导致的分布偏移问题。
• 开发一种可扩展、自动化的、使用易获取工具在无口罩人脸图像上合成真实口罩的方法。
• 提升最先进人脸识别模型在带口罩人脸识别任务上的性能。
• 证明口罩的真实感直接影响模型泛化能力和识别准确率。

提出的方法

• 利用 Facebook 开发的 SparkAR Studio 工具（用于 Instagram 滤镜）生成具有真实纹理、颜色和形状的合成口罩。
• 将 9 种不同类型的口罩（在颜色、形状和材质上各不相同）应用到现有数据集中的无口罩人脸图像上。
• 使用 Dlib-ml 和 ColorMatcher 实现人脸关键点的精确检测以及口罩叠加过程中的颜色一致性。
• 通过自定义验证脚本自动化口罩生成流程，确保对齐效果和真实感。
• 在 https://github.com/securifai/masked_faces 上发布增强后的数据集及完整的预处理脚本。
• 在原始数据集和增强数据集上训练并评估最先进的人脸识别模型（FaceNet、VGG-face、ArcFace）

实验结果

研究问题

• RQ1 使用类似 SparkAR Studio 这类消费级工具生成的合成口罩，是否能比现有方法生成更真实的人脸带口罩图像？
• RQ2 在合成带口罩数据上训练的人脸识别模型，是否能在真实带口罩人脸基准测试中提升性能？
• RQ3 合成口罩的真实感如何影响人脸识别系统的泛化能力？
• RQ4 包含真实口罩的增强数据集是否能超越使用黑色遮挡或不真实合成口罩的基线模型？
• RQ5 口罩真实感与真实世界带口罩人脸数据识别准确率之间的相关性有多大？

主要发现

• 该方法从 CASIA-WebFace 生成了 445,446 个（占 90%）带口罩人脸，从 CelebA 生成了 196,254 个（占 96.8%），显著扩展了训练数据量。
• 人工评估确认，使用 SparkAR Studio 生成的口罩在视觉上明显比其他竞争方法生成的更真实。
• 在 MFR2 真实带口罩人脸基准测试中，使用增强数据集训练的模型达到 96.22% 的准确率，优于使用黑色遮挡口罩训练的模型（93.04%）和 MaskTheFace 方法（95.16%）。
• 在 CASIA-WebFace 测试集上使用合成口罩时，使用我们数据训练的模型在 ArcFace 上达到 91.47% 的准确率，而原始数据上的准确率为 87.95%。
• 在真实口罩与黑色遮挡口罩之间，模型性能差距约为 3%，表明口罩的形状和纹理提供了有用的面部线索。
• 基于 MobileNetV2 的二分类器在区分带口罩与无口罩人脸的任务中达到 99.44% 的准确率，支持实现动态系统切换。