[논문 리뷰] Masked Face Recognition for Secure Authentication

Aqeel Anwar, Arijit Raychowdhury|arXiv (Cornell University)|2020. 08. 25.

Face recognition and analysis참고 문헌 15인용 수 147

한 줄 요약

이 논문은 MaskTheFace를 이용해 마스크 얼굴 데이터셋을 생성하는 오픈소스 도구를 소개하고, Facenet을 재학습시켜 마스크 얼굴 인식에서 약 38%의 TP 비율 개선을 달성하며 LFW-SM 및 실제 MFR2 데이터에서 강건한 성능을 보여준다.

ABSTRACT

With the recent world-wide COVID-19 pandemic, using face masks have become an important part of our lives. People are encouraged to cover their faces when in public area to avoid the spread of infection. The use of these face masks has raised a serious question on the accuracy of the facial recognition system used for tracking school/office attendance and to unlock phones. Many organizations use facial recognition as a means of authentication and have already developed the necessary datasets in-house to be able to deploy such a system. Unfortunately, masked faces make it difficult to be detected and recognized, thereby threatening to make the in-house datasets invalid and making such facial recognition systems inoperable. This paper addresses a methodology to use the current facial datasets by augmenting it with tools that enable masked faces to be recognized with low false-positive rates and high overall accuracy, without requiring the user dataset to be recreated by taking new pictures for authentication. We present an open-source tool, MaskTheFace to mask faces effectively creating a large dataset of masked faces. The dataset generated with this tool is then used towards training an effective facial recognition system with target accuracy for masked faces. We report an increase of 38% in the true positive rate for the Facenet system. We also test the accuracy of re-trained system on a custom real-world dataset MFR2 and report similar accuracy.

연구 동기 및 목표

• COVID-19로 인해 마스킹된 얼굴로 인해 얼굴 인식 정확도가 떨어지는 문제를 해결한다.
• 데이터를 재수집하지 않고 마스크 변형으로 기존의 비마스크 데이터셋을 확장해 활용한다.
• MaskTheFace를 개발하고 공개하여 기존 데이터셋에서 마스크 얼굴 데이터셋을 생성한다.
• 시뮬레이션된 및 실제 마스크 데이터셋을 사용해 Facenet의 마스크 얼굴 인식 성능을 평가한다.

제안 방법

• 5가지 마스크 유형을 24가지 패턴과 다양한 각도에 맞추기 위해 dlib 기반 랜드마크를 사용하여 얼굴에 마스킹하는 MaskTheFace를 개발한다.
• 새로운 사진을 수집하지 않고도 기존 데이터셋(VGGFace2 mini 등)에서 마스크 얼굴 데이터셋을 생성한다.
• 마스크 및 비마스크 데이터에 대해 Facenet 임베딩(Inception-ResNet-v1, embedding size 512)을 학습한다.
• 여러 테스트 세트에서 Max Accuracy, ACC@FAR=0.1%, 및 TPR@FAR=0.1% 지표를 사용해 성능을 평가한다.
• 비마스크 데이터로 학습된 네트워크와 MaskTheFace 보강 데이터로 학습된 네트워크를 비교해 마스크/비마스크 쌍에 대한 강건성을 평가한다.

실험 결과

연구 질문

• RQ1 마스크 얼굴을 사용해도 데이터를 재수집하지 않고 최첨단 얼굴 인식 시스템을 효과적으로 학습시키고 성능을 향상시킬 수 있는가?
• RQ2 시뮬레이션된 마스크 얼굴로 학습한 네트워크가 실제 세계의 마스크 얼굴 데이터에서 얼마나 잘 작동하는가?
• RQ3 마스킹이 인식 성능 지표(정확도, FAR, TPR)에 미치는 영향은 무엇이며, 마스크 학습 vs 비마스크 학습 방식에서 차이가 있는가?

주요 결과

• MaskTheFace를 사용한 재학습으로 마스크 및 비마스크 얼굴에서 Facenet의 TPR가 약 38% 증가했다.
• 재학습된 마스크-네트워크는 여러 교차 데이터셋 쌍에서 비 마스크 네트워크와 비교해 유사하거나 약간 더 나은 성능을 달성한다.
• LFW-SM에서 마스크-네트워크는 마스크 유형에 대해 견고한 정확도를 유지하며, TPR@FAR=0.1%의 저하를 비마스크 네트워크에 비해 감소시킨다.
• 실제 세계 데이터셋 MFR2에서 마스크-네트워크는 약 34% 개선(TPR@FAR=0.2%), 약 17% 개선(정확도/ FAR=0.2%), 약 6% 개선(최대 정확도)을 보인다, 비마스크 네트워크 대비.
• MFR2에서의 마스크-네트워크 성능은 LFW-SM 결과에 가까워 실제 세계 마스크 얼굴에 대한 강건성을 시사한다.