[论文解读] Masked Face Recognition for Secure Authentication

Aqeel Anwar, Arijit Raychowdhury|arXiv (Cornell University)|Aug 25, 2020

Face recognition and analysis参考文献 15被引用 147

一句话总结

本文介绍了 MaskTheFace，一个用于生成带口罩人像数据集的开源工具，并对 Facenet 进行再训练，以在带口罩的人脸识别中提升约 38% 的真正阳性率（TPR），在 LFW-SM 和真实世界的 MFR2 数据上表现稳健。

ABSTRACT

With the recent world-wide COVID-19 pandemic, using face masks have become an important part of our lives. People are encouraged to cover their faces when in public area to avoid the spread of infection. The use of these face masks has raised a serious question on the accuracy of the facial recognition system used for tracking school/office attendance and to unlock phones. Many organizations use facial recognition as a means of authentication and have already developed the necessary datasets in-house to be able to deploy such a system. Unfortunately, masked faces make it difficult to be detected and recognized, thereby threatening to make the in-house datasets invalid and making such facial recognition systems inoperable. This paper addresses a methodology to use the current facial datasets by augmenting it with tools that enable masked faces to be recognized with low false-positive rates and high overall accuracy, without requiring the user dataset to be recreated by taking new pictures for authentication. We present an open-source tool, MaskTheFace to mask faces effectively creating a large dataset of masked faces. The dataset generated with this tool is then used towards training an effective facial recognition system with target accuracy for masked faces. We report an increase of 38% in the true positive rate for the Facenet system. We also test the accuracy of re-trained system on a custom real-world dataset MFR2 and report similar accuracy.

研究动机与目标

• 解决 COVID-19 导致的人脸遮挡对人脸识别准确率的下降问题。
• 通过对带遮罩变体进行扩增，而无需重新收集数据，从而使现有未遮挡数据集可被使用。
• 开发并发布 MaskTheFace，以从现有数据集创建带遮罩的人脸数据集。
• 使用 Facenet 在模拟和真实遮罩数据集上评估带遮罩的人脸识别性能。

提出的方法

• 开发 MaskTheFace，使其使用基于 dlib 的关键点来拟合 5 种口罩、覆盖 24 种图案及多角度的面部遮罩。
• 从现有数据集（如 VGGFace2 mini）生成带遮罩的人脸数据集，而无需采集新照片。
• 在带遮罩和未遮罩数据上训练 Facenet 的嵌入（Inception-ResNet-v1，嵌入维度 512）。
• 使用 Max Accuracy、ACC@FAR=0.1%、以及 TPR@FAR=0.1% 等指标在多个测试集上评估性能。
• 比较在未遮罩数据上训练的网络与在 MaskTheFace 增强数据上训练的网络，以评估对带遮罩/未遮罩对的鲁棒性。

实验结果

研究问题

• RQ1 是否可以在不重新收集数据的情况下，使用带遮罩的人脸有效地训练并提升一个最先进的人脸识别系统？
• RQ2 在模拟遮罩的人脸上训练的网络在真实世界遮罩人脸数据上的表现如何？
• RQ3 遮罩对带遮罩与未遮罩训练方案的识别性能指标（准确率、FAR、TPR）有何影响？

主要发现

• 使用 MaskTheFace 进行再训练后，Facenet 在带遮罩和未遮罩人脸上的真阳性率提升约 38%。
• 再训练后的遮罩网络在若干跨数据集对上达到与无遮罩网络相当甚至略优的性能。
• 在 LFW-SM 上，遮罩网络对多种遮罩类型保持鲁棒的准确性，相较无遮罩网络减少了 TPR@FAR=0.1% 的降幅。
• 在真实世界数据集 MFR2 上，遮罩网络相比无遮罩网络的提升约为 34%（TPR@FAR=0.2%）、约 17%（Accuracy@FAR=0.2%），以及约 6%（Max accuracy）。
• 遮罩网络在 MFR2 的性能与 LFW-SM 的结果接近，表明对真实世界带遮罩人脸具有鲁棒性。