[논문 리뷰] The Effect of Wearing a Mask on Face Recognition 
 Performance: 
 an Exploratory Study

Naser Damer, Jonas Henry Grebe외 4명|arXiv (Cornell University)|2020. 01. 01.

Face recognition and analysis인용 수 45

한 줄 요약

이 논문은 얼굴 마스크 착용이 얼굴 인식 성능에 미치는 영향을 탐색적으로 연구한 것이며, 특별히 수집된 데이터베이스를 사용하고 세 가지 인식 시스템(두 개의 학계 시스템, 하나의 COTS)을 평가한다. 일관되게 진짜 대 스푸리어 구분성에 부정적 영향을 보이며 ArcFace와 SphereFace에서 현저한 악화를 나타내는 반면 COTS 시스템은 비교적 견고하다.

ABSTRACT

Face recognition has become essential in our daily lives as a convenient and contactless method of accurate identity verification. Process such as identity verification at automatic border control gates or the secure login to electronic devices are increasingly dependant on such technologies. The recent COVID-19 pandemic have increased the value of hygienic and contactless identity verification. However, the pandemic led to the wide use of face masks, essential to keep the pandemic under control. The effect of wearing a mask on face recognition in a collaborative environment is currently sensitive yet understudied issue. We address that by presenting a specifically collected database containing three session, each with three different capture instructions, to simulate realistic use cases. We further study the effect of masked face probes on the behaviour of three top-performing face recognition systems, two academic solutions and one commercial off-the-shelf (COTS) system.

연구 동기 및 목표

• COVID-19 기간 동안 마스크의 광범위한 사용과 신뢰할 수 있는 비접촉 신원 확인의 필요성으로 연구를 동기화한다.
• 피험자당 3회의 세션과 3가지 촬영 변형으로 현실적으로 다양화된 마스크 얼굴 데이터베이스를 생성한다.
• 마스크가 있는 탐지 샘플이 기준 무마스크 성능과 비교하여 세 가지 최상위 인식 시스템(두 개의 학계 시스템, 하나의 COTS)에 어떤 영향을 주는지 평가한다.
• 마스크 적용 시 강건성을 평가하기 위해 점수 분포, 검증 지표, 탐지 실패를 분석한다.

제안 방법

• 피험자당 3회의 세션과 3가지 촬영 변형(기준 무마스크, 조명이 없는 마스크, 조명이 있는 마스크)으로 데이터베이스를 구성한다.
• 기준 참조(BLR)와 프루브 세트(M1P, M2P, M12P) 간의 N:N 검증 비교를 사용한다.
• MTCNN를 사용한 탐지/정렬 및 512차원 임베딩으로 ArcFace(ResNet-100, MS1MV2 사전학습)와 SphereFace(64-CNN, A-Softmax) 평가. ArcFace는 유클리드 거리, SphereFace는 코사인 거리 사용.
• 비교를 위한 COTS MegaMatcher 11.2 SDK 평가를 포함한다.
• FTX(추출 실패)와 검증 지표(EER, FMR100, FMR1000, ZeroFMR) 및 각 설정의 ROC 곡선을 보고한다.

실험 결과

연구 질문

• RQ1 마스크를 착용하는 것이 기준(BLR) 및 마스크가 적용된 프로브 조건에서 얼굴 인식 성능에 어떤 영향을 미치는가?
• RQ2 마스크 촬영 중 추가 조명이 인식 성능을 더 악화시키거나 바꿔 놓는가?
• RQ3 마스크 얼굴 조건에서 상위 학계의 얼굴 인식 솔루션은 COTS 시스템과 어떻게 비교되는가?
• RQ4 마스크가 있을 때 진짜와 위조자의 점수 분포가 어느 정도로 이동하며 의사 결정 임계값에 어떤 영향을 미치는가?]
• RQ5 key_findings: [

주요 결과

• 마스크 처리된 얼굴 탐지 샘플은 진짜 점수 분포를 위조자 분포 쪽으로 이동시켜 구분성을 감소시키고 전반적인 성능을 저하시킨다.
• 추가 조명(M2P)은 일반적으로 조명이 없는 경우(M1P)보다 악화의 정도를 증가시킨다.
• ArcFace와 SphereFace의 검증 지표(EER, FMR100, FMR1000, ZeroFMR)가 저하되며, SphereFace가 ArcFace보다 더 영향을 받는다.
• COTS는 전통적 지표 측면에서 거의 완벽한 검증 성능을 유지하지만, 마스크 탐지에서 진짜 점수에 현저한 이동이 있어 향후 위험 가능성을 시사한다.
• 작은 평가 데이터 세트에서도 진짜-위조 간 구분 손실이 뚜렷하게 나타나므로 마스크 얼굴 인식에 대한 재평가와 더 큰 데이터 세트의 필요성을 시사한다.