[논문 리뷰] Masked Face Recognition using ResNet-50

Bishwas Mandal, Adaeze Okeukwu외 1명|arXiv (Cornell University)|2021. 04. 19.

Face recognition and analysis참고 문헌 18인용 수 70

한 줄 요약

본 논문은 사전 학습된 ResNet-50 모델을 마스크가 있는 얼굴 인식에 맞춰 미세 조정하고, RMFRD 데이터를 사용하여 비마스크 얼굴에서 약 89.7%의 정확도, 마스크 얼굴에서 47.9%의 정확도를 달성한다.

ABSTRACT

Over the last twenty years, there have seen several outbreaks of different coronavirus diseases across the world. These outbreaks often led to respiratory tract diseases and have proved to be fatal sometimes. Currently, we are facing an elusive health crisis with the emergence of COVID-19 disease of the coronavirus family. One of the modes of transmission of COVID- 19 is airborne transmission. This transmission occurs as humans breathe in the droplets released by an infected person through breathing, speaking, singing, coughing, or sneezing. Hence, public health officials have mandated the use of face masks which can reduce disease transmission by 65%. For face recognition programs, commonly used for security verification purposes, the use of face mask presents an arduous challenge since these programs were typically trained with human faces devoid of masks but now due to the onset of Covid-19 pandemic, they are forced to identify faces with masks. Hence, this paper investigates the same problem by developing a deep learning based model capable of accurately identifying people with face-masks. In this paper, the authors train a ResNet-50 based architecture that performs well at recognizing masked faces. The outcome of this study could be seamlessly integrated into existing face recognition programs that are designed to detect faces for security verification purposes.

연구 동기 및 목표

• COVID-19로 인한 마스크 착용 시 얼굴 인식의 도전 과제 조사
• 사전 학습된 ResNet-50으로의 전이 학습이 마스크 얼굴 인식에 적응할 수 있는지 평가
• 가림(occlusion)이 인식 성능에 미치는 영향 평가 및 효과적인 학습 전략 식별
• 마스크 얼굴 인식을 위한 상세한 하이퍼파라미터 튜닝 및 구조적 고려사항 제시

제안 방법

• 사전 학습된 ResNet-50 모델을 비가면 얼굴에 대해 미세 조정하여 전이 학습 적용
• 가림이 있는 얼굴 데이터에 대해 미세 조정된 모델의 인식 능력 평가
• 데이터 증강(무작위 수평 반전) 및 180x180 입력 크기로 데이터 세트 전처리 실험
• 성능을 극대화하기 위한 배치 크기, 옵티마이저, 드롭아웃, 학습률, 에폭스에 대한 하이퍼파라미터 튜닝
• dRMFRD 실제 masked face 데이터셋을 70/30 학습/검증 분할 및 8이미지당 한 클래스로 구성된 77개 클래스 사용

실험 결과

연구 질문

• RQ1 마스크가 있는 얼굴일 때도 비마스크 얼굴로 학습된 ResNet-50 기반 모델이 개인 식별을 정확히 수행할 수 있는가?
• RQ2 전이 학습과 하이퍼파라미터 조정을 통해 비마스크와 마스크 얼굴 간 성능 차이가 어떻게 나타나는가?
• RQ3 데이터 및 학습 전략(증강, 크롭, 도메인 적응)이 마스크 얼굴 인식 성능에 어떤 영향을 미치는가?
• RQ4 마스크 얼굴 인식에 대한 최적 하이퍼파라미터(옵티마이저, 배치 크기, 드롭아웃, 학습률, 에폭) 는 무엇인가?

주요 결과

• 사전 학습된 ResNet-50를 비가면 얼굴에서 미세 조정하면 정확도 89.7016%를 얻으며, 정밀도 0.8993, 재현율 0.8970, F1 0.897.
• 마스크 얼굴에서 최적 결과는 47.91% 정확도이며, 정밀도 0.4613, 재현율 0.4719, F1 0.4473이다.
• 데이터 불균형(비가면 이미지가 마스크 이미지보다 훨씬 많음)과 가림은 마스크 얼굴 인식 성능을 비가면 얼굴 인식보다 낮추는 요인이다.
• 하이퍼파라미터 튜닝(SDG에서 Adam으로 전환, 배치 크기, 드롭아웃, 학습률 조정)이 마스크 얼굴 정확도를 ~21%에서 44.73%(F1로 보고)로 개선한다.
• 본 연구는 가림이 CNN 기반 얼굴 인식에 상당한 도전 과제를 제시하며, 향후 데이터 증강(가짜 마스크를 이용한) 및 도메인 적응과 같은 기법의 가능성을 시사한다.