[논문 리뷰] Masked Face Recognition Challenge: The InsightFace Track Report

Jiankang Deng, Jia Guo외 3명|arXiv (Cornell University)|2021. 08. 18.

Face recognition and analysis참고 문헌 37인용 수 10

한 줄 요약

이 논문은 코로나19 팬데믹 기간 동안 마스크 착용으로 인한 성능 저하 문제를 해결하기 위해 대규모이며 개인정보 보호 기능을 갖춘 마스크 착용 얼굴 인식 벤치마크를 소개한다. 실제 데이터를 기반으로 한 세 가지 별도의 테스트 세트(마스크 착용, 어린이, 다인종)를 포함하며, 딥 얼굴 인식 모델의 성능을 평가한다. 최상위 모델은 마스크 테스트 세트에서 88.97%의 정확도를 기록했고, MR-All 세트에서는 93.51%를 기록하여 외부 데이터나 사전 학습 모델 없이도 차폐 내성 특징 학습이 효과적임을 입증한다.

ABSTRACT

During the COVID-19 coronavirus epidemic, almost everyone wears a facial mask, which poses a huge challenge to deep face recognition. In this workshop, we organize Masked Face Recognition (MFR) challenge and focus on bench-marking deep face recognition methods under the existence of facial masks. In the MFR challenge, there are two main tracks: the InsightFace track and the WebFace260M track. For the InsightFace track, we manually collect a large-scale masked face test set with 7K identities. In addition, we also collect a children test set including 14K identities and a multi-racial test set containing 242K identities. By using these three test sets, we build up an online model testing system, which can give a comprehensive evaluation of face recognition models. To avoid data privacy problems, no test image is released to the public. As the challenge is still under-going, we will keep on updating the top-ranked solutions as well as this report on the arxiv.

연구 동기 및 목표

• 코로나19 팬데믹 기간 동안 마스크 착용으로 인한 딥 얼굴 인식 시스템의 성능 저하 문제를 해결하기 위해.
• 마스크 착용 얼굴 인식을 위한 공정하고 종합적이며 개인정보 보호 기능이 있는 평가 벤치마크를 구축하기 위해.
• 다양한 훈련 데이터 및 모델 복잡도 제약 조건 하에서 재현 가능하고 비교 가능한 모델 평가를 가능하게 하기 위해.
• 벤치마크에 다양한 인종 집단을 포함시켜 얼굴 인식의 공정성을 높이기 위해.

제안 방법

• 저자들은 6,964명의 신원과 20,892장의 이미지를 포함한 실제 마스크 착용 얼굴 테스트 세트를 확보하였으며, 테스트 이미지를 공개하지 않음으로써 개인정보 보호를 확보함.
• 14,344명의 신원을 포함한 어린이 테스트 세트와 아프리카계, 유럽계, 남아시아계, 동아시아계 인구를 포함한 다인종 테스트 세트(242,000명의 신원)를 구축함.
• 테스트 데이터 폭 lộ 없이도 참가자들의 모델을 평가할 수 있도록 온라인 모델 테스팅 시스템을 구축함으로써 공정성과 개인정보 보호를 확보함.
• 재현 가능성을 확보하기 위해 외부 데이터나 사전 학습 모델을 허용하지 않고, 고정된 훈련 데이터 세트(MS1M 및 Glint360K)를 사용함.
• 평가 프로토콜은 여러 테스트 세트와 모델 크기 및 계산 복잡도에 대한 엄격한 제약 조건을 포함함.
• 재현 가능해야 하므로, 마스크를 활용한 데이터 증강은 허용되나, 모든 참가자 간 일관된 훈련을 보장하기 위해 반드시 재현 가능해야 함.

(a) Masked Test Set

실험 결과

연구 질문

• RQ1 마스크 착용 얼굴에 적용했을 때 딥 얼굴 인식 모델의 성능는 비마스크 얼굴에 비해 얼마나 효과적인가?
• RQ2 외부 데이터나 사전 학습 모델을 사용하지 않고도, 차폐 내성 특징 학습을 통해 어떤 성능 향상을 달성할 수 있는가?
• RQ3 다인종 및 어린이 테스트 세트에서 다양한 인구 집단 간 성능 향상은 어떻게 달라지는가?
• RQ4 실제 차폐 조건에서 마스크를 활용한 데이터 증강이 얼굴 인식 정확도 향상에 얼마나 기여하는가?
• RQ5 MS1M와 Glint360K의 훈련 데이터 스케일 차이가 얼굴 인식 모델의 마스크에 대한 내성에 어떤 영향을 미치는가?

주요 결과

• MS1M 서브트랙에서 최상위 모델은 마스크 테스트 세트에서 84.169%의 정확도를 기록했고, MR-All 세트에서는 90.452%를 기록하여 기준 모델 대비 7%p의 절대적 향상을 보였다.
• Glint360K 서브트랙에서 최상위 모델은 마스크 테스트 세트에서 88.972%의 정확도를 기록했고, MR-All 세트에서는 93.512%를 기록하여 기준 모델 대비 6%p의 절대적 향상을 보였다.
• 최고 성능을 낸 모델들은 어린이 및 다인종 집단을 포함한 다양한 인구 집단에 대해 강력한 일반화 능력을 보이며, 공정성 향상이 확인됨.
• 훈련 단계에서 마스크 착용 얼굴 증강을 활용한 결과 성능 향상이 두드러졌으며, 이는 차폐 내성 향상에 효과적임을 입증함.
• 벤치마크는 글로벌 참가자들 간 공정하고 재현 가능한 평가를 성공적으로 가능케 하였으며, MS1M 서브트랙에 123건, Glint360K 서브트랙에 69건의 유효한 제출이 이루어짐.
• 저자들은 재학습을 통해 상위 순위 모델의 타당성을 확인하여 랭킹 결과의 신뢰성을 확보함.

(b) Children Test Set