[논문 리뷰] Analysis of face detection, face landmarking, and face recognition performance with masked face images

Ožbej Golob|arXiv (Cornell University)|2022. 06. 03.

Face recognition and analysis인용 수 4

한 줄 요약

이 연구는 HOG 및 CNN 검출기, 5점 및 68점 랜드마크 예측기, VGG16 기반 얼굴 인식 모델을 사용하여 마스크 착용 시 얼굴 검출, 랜드마킹, 인식에 미치는 영향을 평가한다. 결과적으로 마스크로 인한 가림으로 인해 모든 작업에서 성능 저하가 발생했으며, 마스크가 착용된 이미지에서 얼굴 인식 정확도가 9.9% 감소했지만, 마스크 데이터로의 미세조정을 통해 정확도가 95.2%로 향상되었다.

ABSTRACT

Face recognition has become an essential task in our lives. However, the current COVID-19 pandemic has led to the widespread use of face masks. The effect of wearing face masks is currently an understudied issue. The aim of this paper is to analyze face detection, face landmarking, and face recognition performance with masked face images. HOG and CNN face detectors are used for face detection in combination with 5-point and 68-point face landmark predictors and VGG16 face recognition model is used for face recognition on masked and unmasked images. We found that the performance of face detection, face landmarking, and face recognition is negatively impacted by face masks

연구 동기 및 목표

• 마스크 착용이 얼굴 검출, 랜드마킹 및 인식 성능에 미치는 영향을 평가하기 위해.
• HOG 및 CNN 기반 얼굴 검출기가 마스크로 인한 가림에 얼마나 강건한지 평가하기 위해.
• 마스크 착용으로 인해 5점 및 68점 랜드마킹 정확도가 얼마나 떨어지는지 측정하기 위해.
• 미리 학습된 VGG16 모델을 마스크가 착용된 이미지로 미세조정하면 인식 정확도가 향상되는지 조사하기 위해.
• 다양한 벤치마크 데이터셋에서 마스크 착용 여부에 따라 성능 저하 정도를 정량화하기 위해.

제안 방법

• 얼굴 검출은 Dlib에 구현된 HOG 기반 및 CNN 기반 검출기를 사용하여 수행되었다.
• 랜드마킹 평가는 5점 및 68점 예측기의 경우 상호눈간 거리(IOD) 기반 정규화된 평균 제곱근 오차(NRMSE)를 사용하여 평가되었다.
• NRMSE는 실제 랜드마크 좌표와 예측 랜드마크 좌표 간 유클리드 거리의 평균을 IOD로 나누어 이미지별로 계산되었다.
• 얼굴 인식에는 마지막 완전히 연결된 층을 소프트맥스 분류기로 교체한 미세조정된 VGG16 모델을 사용하였다.
• VGG16 모델은 먼저 마스크가 착용되지 않은 이미지로 학습된 후, CASIA 데이터셋의 마스크가 착용된 이미지로 재학습되었다.
• 성능 평가는 마스크가 착용된 이미지를 생성하기 위해 MaskTheFace 도구를 사용한 네 개의 실생활 데이터셋(LFPW, HELEN, AFW, IBUG)에서 평가되었다.

실험 결과

연구 질문

• RQ1 얼굴 마스크로 인한 가림은 HOG 및 CNN 기반 얼굴 검출기의 정확도에 어떤 영향을 미치는가?
• RQ2 마스크 착용이 5점 및 68점 랜드마킹 모델의 성능을 얼마나 떨어뜨리는가?
• RQ3 미리 학습된 VGG16 모델을 사용할 때, 마스크가 착용된 이미지에서 얼굴 인식 정확도는 어떻게 변하는가?
• RQ4 마스크가 착용된 이미지로 얼굴 인식 모델을 미세조정하면 성능 저하를 완화할 수 있는가?
• RQ5 마스크 가림이 얼굴 인식 파이프라인의 다양한 구성 요소에 미치는 상대적 영향은 어떠한가?

주요 결과

• HOG 얼굴 검출기 정확도는 마스크가 착용되지 않은 이미지에서 89.0%에서 마스크가 착용된 이미지로 64.7%로 평균 24.3%포인트 감소하였다.
• CNN 얼굴 검출기 정확도는 마스크가 착용되지 않은 이미지에서 98.5%에서 마스크가 착용된 이미지로 77.8%로 평균 20.7%포인트 감소하였다.
• 68점 랜드마킹 NRMSE는 HOG 검출기 기준 마스크가 착용된 이미지에서 0.066에서 0.171로 약 3배 증가했고, CNN 검출기 기준 0.115에서 0.214로 약 2배 증가하였다.
• 5점 랜드마킹 NRMSE는 HOG 검출기 기준 마스크가 착용된 이미지에서 0.060에서 0.128로 2배 증가했고, CNN 검출기 기준 0.067에서 0.129로 2배 증가하였다.
• 마스크가 착용된 이미지에서 VGG16 모델을 사용할 경우, 마스크가 착용되지 않은 이미지에서의 96.6% 정확도에서 마스크가 착용된 이미지에서는 86.7%로 감소하였다.
• VGG16 모델을 마스크가 착용된 이미지로 미세조정함으로써 마스크가 착용된 이미지에서의 정확도가 95.2%로 향상되었으며, 이는 도메인 특화 적응의 효과를 입증한다.