[논문 리뷰] Masked Face Recognition Challenge: The WebFace260M Track Report

Zheng Zhu, Guan Huang외 10명|arXiv (Cornell University)|2021. 08. 16.

Face recognition and analysis참고 문헌 24인용 수 24

한 줄 요약

이 논문은 Masked Face Recognition Challenge의 WebFace260M 트랙을 보고하며, 데이터셋, FRUITS 평가 프로토콜, 테스트 세트, 제출 규칙, 베이스라인 및 마스크 여부에 따른 실제 환경 조건에서의 얼굴 인식 1단계 결과를 상세히 제시합니다.

ABSTRACT

According to WHO statistics, there are more than 204,617,027 confirmed COVID-19 cases including 4,323,247 deaths worldwide till August 12, 2021. During the coronavirus epidemic, almost everyone wears a facial mask. Traditionally, face recognition approaches process mostly non-occluded faces, which include primary facial features such as the eyes, nose, and mouth. Removing the mask for authentication in airports or laboratories will increase the risk of virus infection, posing a huge challenge to current face recognition systems. Due to the sudden outbreak of the epidemic, there are yet no publicly available real-world masked face recognition (MFR) benchmark. To cope with the above-mentioned issue, we organize the Face Bio-metrics under COVID Workshop and Masked Face Recognition Challenge in ICCV 2021. Enabled by the ultra-large-scale WebFace260M benchmark and the Face Recognition Under Inference Time conStraint (FRUITS) protocol, this challenge (WebFace260M Track) aims to push the frontiers of practical MFR. Since public evaluation sets are mostly saturated or contain noise, a new test set is gathered consisting of elaborated 2,478 celebrities and 60,926 faces. Meanwhile, we collect the world-largest real-world masked test set. In the first phase of WebFace260M Track, 69 teams (total 833 solutions) participate in the challenge and 49 teams exceed the performance of our baseline. There are second phase of the challenge till October 1, 2021 and on-going leaderboard. We will actively update this report in the future.

연구 동기 및 목표

• 실제 COVID-19 상황에서의 견고한 마스크 얼굴 인식(MFR) 촉진.
• WebFace260M 데이터셋과 FRUITS 프로토콜을 활용해 추론 시 제약 하의 MFR 평가.
• 제어된 환경, 야생 환경, 교차 연령 시나리오에서의 SFR 및 MFR에 대한 크고 현실적인 테스트 세트 구성.
• 향후 실용적 MFR 연구를 위한 베이스라인 솔루션 및 성능 제공

제안 방법

• FRUITS 프로토콜을 채택해 단일 CPU 코어(제한 시간 1000 ms)에서의 추론 시 제약 성능을 측정.
• 2,478개 식별자와 60,926개의 마스크 얼굴이 포함된 새 테스트 세트와 자세한 SFR/테스트 세트 속성(제어된 환경, 야생, 교차 연령)을 생성.
• 설정 간(전체, 야생, 제어) 마스크 여부와 관계없이 고정된 FMR 임계값에서 FNMR를 사용한 1:1 검증으로 비교.
• 마스크 여부를 포함한 SFR 및 MFR 지표를 가중 최종 점수로 균형화(All(MFR&SFR) = 0.25 All-Masked + 0.75 All(SFR)).
• 재현 가능한 베이스라인 모델(ArcFace 손실이 있는 ResNet-50)과 공정한 비교를 위한 Gluon 기반 코드베이스 제공

실험 결과

연구 질문

• RQ1 실제 추론 시간 제약에서의 실세계 마스크 얼굴 인식 성능이 비마스크 얼굴 인식과 비교해 어떤 차이를 보이는가?
• RQ2 제어된 환경, 야생 환경, 교차 연령 등 다양한 테스트 조건에서 마스크 착용이 MFR 및 SFR 성능에 미치는 영향은 무엇인가?
• RQ3 대규모 공개 학습 데이터(WebFace260M)가 MFR의 학계와 산업 간 성능 차를 얼마나 좁힐 수 있는가?
• RQ4 FRUITS 제약 하에서 얼굴 탐지/정렬 비용이 전체 지연에 미치는 상대적 기여도는 얼마나 되는가?

주요 결과

• 1단계 참여: 69개 팀이 833개의 솔루션을 제출; 49개 팀이 베이스라인을 초과.
• All (MFR&SFR) 지표의 상위 결과 0.0980; Controlled (MFR&SFR) 0.0500; Wild (MFR&SFR) 0.1222; All (SFR) 0.0162; Wild (SFR) 0.0270; Controlled (SFR) 0.0018.
• 베이스라인 모델(ResNet-50 + ArcFace, WebFace12M)의 FNMR@FMR=1e-5 성능은 All MFR&SFR 0.2342, Wild MFR&SFR 0.2816, Controlled MFR&SFR 0.1483, All SFR 0.0871.
• 테스트 세트 통계에는 2,478개 식별자 및 57,715개의 SFR 얼굴, 그리고 862개 식별자에서 온 3,211개의 마스크 얼굴(All-Masked)이 포함.
• 베이스라인의 테스트-시간 및 인식-시간 비용: 탐지 157 ms, 인식 172 ms, 총합 329 ms.
• 재설정 및 순위 산정 기준은 마스크 여부에 따른 과적합을 완화하기 위해 MFR 및 SFR 점수를 조합하여 평가합니다.