[论文解读] Masked Face Recognition Challenge: The WebFace260M Track Report

Zheng Zhu, Guan Huang+10 more|arXiv (Cornell University)|Aug 16, 2021

Face recognition and analysis参考文献 24被引用 24

一句话总结

本论文报道了 Masked Face Recognition Challenge 的 WebFace260M Track，详细介绍数据集、FRUITS 评估协议、测试集、提交规则、基线，以及在真实世界条件下对遮挡和未遮挡人脸识别的第一阶段结果。

ABSTRACT

According to WHO statistics, there are more than 204,617,027 confirmed COVID-19 cases including 4,323,247 deaths worldwide till August 12, 2021. During the coronavirus epidemic, almost everyone wears a facial mask. Traditionally, face recognition approaches process mostly non-occluded faces, which include primary facial features such as the eyes, nose, and mouth. Removing the mask for authentication in airports or laboratories will increase the risk of virus infection, posing a huge challenge to current face recognition systems. Due to the sudden outbreak of the epidemic, there are yet no publicly available real-world masked face recognition (MFR) benchmark. To cope with the above-mentioned issue, we organize the Face Bio-metrics under COVID Workshop and Masked Face Recognition Challenge in ICCV 2021. Enabled by the ultra-large-scale WebFace260M benchmark and the Face Recognition Under Inference Time conStraint (FRUITS) protocol, this challenge (WebFace260M Track) aims to push the frontiers of practical MFR. Since public evaluation sets are mostly saturated or contain noise, a new test set is gathered consisting of elaborated 2,478 celebrities and 60,926 faces. Meanwhile, we collect the world-largest real-world masked test set. In the first phase of WebFace260M Track, 69 teams (total 833 solutions) participate in the challenge and 49 teams exceed the performance of our baseline. There are second phase of the challenge till October 1, 2021 and on-going leaderboard. We will actively update this report in the future.

研究动机与目标

• 在 COVID-19 实际口罩使用情境中，推动鲁棒的遮挡人脸识别（MFR）。
• 利用 WebFace260M 数据集和 FRUITS 协议，在推理时限约束下评估 MFR。
• 建立一个大规模、真实感强的测试集，用于受控、野外和跨龄场景下的 SFR 和 MFR。
• 提供一个可复现的基线解决方案及基线性能，为实际 MFR 研究提供参考。

提出的方法

• 采用 FRUITS 协议，在单个 CPU 核心上测量推理时限约束下的性能（1000 ms 限制）。
• 创建一个新的测试集，包含 2,478 个身份和 60,926 张遮挡人脸，以及详细的 SFR/测试集属性（受控、野外、跨年龄）。
• 使用固定 FMR 阈值下的 1:1 验证，比较在不同设置（All、Wild、Controlled）下遮挡与未遮挡的性能，采用 FNMR。
• 通过加权最终分数来平衡 MFR 与 SFR 指标（All(MFR&SFR) = 0.25 All-Masked + 0.75 All(SFR)）。
• 提供一个可复现的基线模型（ResNet-50 结合 ArcFace 损失）以及一个基于 Gluon 的代码库，确保公平比较。

实验结果

研究问题

• RQ1 在实际推理时延约束下，真实世界遮挡人脸识别的表现与未遮挡人脸识别相比有何差异？
• RQ2 在不同测试条件（受控、野外、跨龄）下，口罩佩戴对 MFR 和 SFR 性能的影响如何？
• RQ3 大规模、公开可用的训练数据（WebFace260M）是否可以缩小学术界与工业界在 MFR 上的性能差距？
• RQ4 在 FRUITS 约束下，人脸检测/对齐成本对总体延迟的相对贡献有多大？

主要发现

• 第一阶段参与：共有 69 支队伍提交了 833 个方案；49 支队伍超出基线。
• All (MFR&SFR) 指标排名第一的结果为 0.0980；Controlled (MFR&SFR) 0.0500；Wild (MFR&SFR) 0.1222；All (SFR) 0.0162；Wild (SFR) 0.0270；Controlled (SFR) 0.0018。
• 基线模型（ResNet-50 + ArcFace，WebFace12M）在 FNMR@FMR=1e-5 下的结果为 All MFR&SFR 0.2342，Wild MFR&SFR 0.2816，Controlled MFR&SFR 0.1483，以及 All SFR 0.0871。
• 测试集统计信息包括 2,478 个身份和 57,715 张 SFR 脸，以及 3,211 张遮挡脸来自 862 个身份（All-Masked）。
• 基线的测试时间和识别时间成本：检测 157 ms，识别 172 ms，总计 329 ms。
• 重置与排名标准结合 MFR 与 SFR 分数，以缓解对遮挡或未遮挡数据的过拟合。