[论文解读] Masked Face Recognition Challenge: The InsightFace Track Report

Jiankang Deng, Jia Guo+3 more|arXiv (Cornell University)|Aug 18, 2021

Face recognition and analysis参考文献 37被引用 10

一句话总结

本文提出了一项大规模、保护隐私的遮挡面部识别基准测试，包含三个独立的测试集——遮挡面部、儿童和多民族群体，采用真实世界数据评估深度面部识别模型。报告指出显著的性能提升，顶尖模型在遮挡面部测试集上达到88.97%的准确率，在MR-All测试集上达到93.51%，证明了无需外部数据或预训练模型即可实现对遮挡鲁棒的特征学习。

ABSTRACT

During the COVID-19 coronavirus epidemic, almost everyone wears a facial mask, which poses a huge challenge to deep face recognition. In this workshop, we organize Masked Face Recognition (MFR) challenge and focus on bench-marking deep face recognition methods under the existence of facial masks. In the MFR challenge, there are two main tracks: the InsightFace track and the WebFace260M track. For the InsightFace track, we manually collect a large-scale masked face test set with 7K identities. In addition, we also collect a children test set including 14K identities and a multi-racial test set containing 242K identities. By using these three test sets, we build up an online model testing system, which can give a comprehensive evaluation of face recognition models. To avoid data privacy problems, no test image is released to the public. As the challenge is still under-going, we will keep on updating the top-ranked solutions as well as this report on the arxiv.

研究动机与目标

• 为应对新冠疫情期间面部口罩导致深度面部识别系统性能下降的挑战。
• 建立一个公平、全面且保护隐私的遮挡面部识别评估基准。
• 在不同训练数据和模型复杂度约束下，实现可复现且可比较的模型评估。
• 通过在基准中纳入多样化的种族群体，促进面部识别的公平性。

提出的方法

• 作者收集了一个包含6,964个身份和20,892张图像的真实世界遮挡面部测试集，通过不公开测试图像来确保隐私。
• 他们创建了一个包含14,344个身份的儿童测试集和一个包含242,000个身份的多民族测试集，涵盖非洲、高加索、南亚和东亚人群。
• 构建了一个在线模型测试系统，用于在不暴露测试数据的情况下评估提交结果，确保公平性和隐私性。
• 参赛者使用固定的训练数据集（MS1M 和 Glint360K），禁止使用外部数据或预训练模型，以确保可复现性。
• 评估协议包括多个测试集，并对模型大小和计算复杂度施加严格限制。
• 允许使用面部遮挡进行数据增强，但必须可复现，以确保各提交结果间训练的一致性。

(a) Masked Test Set

实验结果

研究问题

• RQ1 与非遮挡面部相比，深度面部识别模型在遮挡面部上的表现如何？
• RQ2 在不使用外部数据或预训练模型的前提下，通过遮挡鲁棒特征学习能实现多大的性能提升？
• RQ3 模型性能在不同人口群体中（尤其是多民族和儿童测试集）有何差异？
• RQ4 在真实世界遮挡条件下，使用遮挡数据增强能在多大程度上提升识别准确率？
• RQ5 不同规模的训练数据（MS1M 与 Glint360K）如何影响面部识别模型对口罩遮挡的鲁棒性？

主要发现

• 在MS1M子赛道中表现最佳的模型在遮挡面部测试集上达到84.169%的准确率，在MR-All测试集上达到90.452%，相比基线模型有7%的绝对提升。
• 在Glint360K子赛道中表现最佳的模型在遮挡面部测试集上达到88.972%的准确率，在MR-All测试集上达到93.512%，相比基线模型有6%的绝对提升。
• 表现优异的模型在包括儿童和多民族群体在内的多样化人群上展现出强大的泛化能力，表明其公平性得到提升。
• 在训练中使用遮挡面部数据增强显著提升了性能，证实了其在增强遮挡鲁棒性方面的有效性。
• 该基准成功实现了全球参与者的公平且可复现的评估，MS1M子赛道收到123份有效提交，Glint360K子赛道收到69份有效提交。
• 作者通过重新训练验证了排名靠前模型的有效性，确保了排行榜结果的可靠性。

(b) Children Test Set