[论文解读] Masked Face Recognition Dataset and Application

Zhongyuan Wang, Guangcheng Wang+12 more|arXiv (Cornell University)|Mar 20, 2020

Face recognition and analysis参考文献 7被引用 229

一句话总结

本文介绍了三个遮罩人脸数据集（MFDD、RMFRD、SMFRD）以及一个基于人脸-眼部的多粒度模型，在遮罩人脸识别上达到95%的准确率。

ABSTRACT

In order to effectively prevent the spread of COVID-19 virus, almost everyone wears a mask during coronavirus epidemic. This almost makes conventional facial recognition technology ineffective in many cases, such as community access control, face access control, facial attendance, facial security checks at train stations, etc. Therefore, it is very urgent to improve the recognition performance of the existing face recognition technology on the masked faces. Most current advanced face recognition approaches are designed based on deep learning, which depend on a large number of face samples. However, at present, there are no publicly available masked face recognition datasets. To this end, this work proposes three types of masked face datasets, including Masked Face Detection Dataset (MFDD), Real-world Masked Face Recognition Dataset (RMFRD) and Simulated Masked Face Recognition Dataset (SMFRD). Among them, to the best of our knowledge, RMFRD is currently theworld's largest real-world masked face dataset. These datasets are freely available to industry and academia, based on which various applications on masked faces can be developed. The multi-granularity masked face recognition model we developed achieves 95% accuracy, exceeding the results reported by the industry. Our datasets are available at: https://github.com/X-zhangyang/Real-World-Masked-Face-Dataset.

研究动机与目标

• 解决缺乏公开可用的用于深度学习识别的遮罩人脸数据集的问题。
• 创建用于遮罩人脸检测和遮罩人脸识别的数据集（真实世界与仿真）。
• 开发一个在口罩遮挡下利用可见面部特征（眼睛、上半脸）的遮罩人脸识别模型。

提出的方法

• 通过对抓取的遮罩图像进行标注和注释来构建 MFDD，以用于检测任务。
• 通过抓取公众人物的图像并配对带口罩/未带口罩的人脸，随后进行人工清理和注释来构建 RMFRD。
• 通过基于 Dlib 的口罩佩戴工具，将已有大规模人脸数据集（LFW、WebFace）自动应用口罩来创建 SMFRD。
• 开发一个多粒度识别模型，对来自可见区域（眼睛、眼眶周围、前额、轮廓）的特征进行权重分配，以在遮挡下提升识别性能。
• 在所构建的数据集上进行模型训练与评估，达到最高 95% 的准确率。

实验结果

研究问题

• RQ1 如何构建可公开获得的遮罩人脸数据集，以支持用于检测与识别的深度学习？
• RQ2 哪种数据集设计（真实世界与仿真）在遮罩人脸识别方面的性能更好？
• RQ3 基于人脸-眼部的多粒度模型在部分面部被口罩遮挡时是否能提升识别准确率？

主要发现

• MFDD 包含 24,771 张适用于检测训练的遮罩人脸图像。
• RMFRD 包含 5,000 张遮罩图像和 90,000 张未遮罩图像，涉及 525 位个体，被 claimed 为全球最大的真实世界遮罩人脸数据集。
• SMFRD 通过对 LFW 与 WebFace 自动应用口罩，提供高达 50 万张遮罩人脸图像，覆盖 10,000 名对象。
• 提出的多粒度模型将遮罩人脸识别的准确率从基线（约 50%）提升至 95%。
• 在实际行业条件下，遮罩人脸识别的准确率通常在 85-90% 左右，作者在其设置上达到 95% 。