[논문 리뷰] My Eyes Are Up Here: Promoting Focus on Uncovered Regions in Masked Face Recognition

Pedro C. Neto, Fadi Boutros외 5명|arXiv (Cornell University)|2021. 08. 02.

Face recognition and analysis참고 문헌 22인용 수 19

한 줄 요약

이 논문은 평균 제곱 오차(MSE)와 기존 트리플릿 손실을 조합한 수정된 트리플릿 손실을 통해 노출된 얼굴 영역에 초점을 맞추어 마스크 착용 얼굴 인식(MFR) 성능을 향상시키는 새로운 훈련 프레임워크를 제안한다. 이 방법은 마스크 착용자와 비마스크 착용자 간의 비교에서 인식 성능을 향상시켜, 합성 및 실제 마스크 착용 얼굴 데이터셋에서 SOTA 성능을 달성하며 AUC는 최대 0.985에 도달하고 EER은 6.2%로 감소시켰다.

ABSTRACT

The recent Covid-19 pandemic and the fact that wearing masks in public is now mandatory in several countries, created challenges in the use of face recognition systems (FRS). In this work, we address the challenge of masked face recognition (MFR) and focus on evaluating the verification performance in FRS when verifying masked vs unmasked faces compared to verifying only unmasked faces. We propose a methodology that combines the traditional triplet loss and the mean squared error (MSE) intending to improve the robustness of an MFR system in the masked-unmasked comparison mode. The results obtained by our proposed method show improvements in a detailed step-wise ablation study. The conducted study showed significant performance gains induced by our proposed training paradigm and modified triplet loss on two evaluation databases.

연구 동기 및 목표

• 팬데믹으로 인한 마스크 착용으로 인해 발생하는 마스크 착용 얼굴 인식(MFR) 문제를 해결하기 위해.
• 실제 응용 시나리오에서 매우 중요한 마스크 착용자 대비 비마스크 착용자 간의 비교에서의 인식 성능 향상을 위해.
• 노출된 얼굴 영역에 초점을 맞춤으로써 모델의 강건성을 향상시키는 훈련 프레임워크를 개발하기 위해.
• 손실 함수 수정이 MFR 성능에 미치는 영향을 아블레이션 연구를 통해 조사하기 위해.
• 합성 및 실제 마스크 착용 얼굴 데이터셋 모두에서 효과성을 입증하기 위해.

제안 방법

• 분류 헤드를 교차 엔트로피(CE) 손실을 사용하여 먼저 훈련하는 계단식 훈련 프레임워크를 제안한다.
• 모든 레이어를 동결하고 마지막 임bedding 레이어를 제외한 나머지 레이어를 고정한 후, 네트워크를 피니팅한다.
• 평균 제곱 오차(MSE)를 통합하여 수정된 트리플릿 손실을 도입한다.
• 수정된 손실은 앵커와 음성 샘플 간의 거리가 앵커와 양성 샘플 간의 거리보다 작을 경우, 마진이 0인 조건에서 모델을 페널티 처리한다.
• 특징 중요도를 시각화하고 노출된 얼굴 영역에 초점이 맞춰졌는지 검증하기 위해 Smooth Grad-CAM++를 사용한다.
• MSE 구성요소는 모델이 노출된 얼굴 영역을 강조하는 표현을 학습하도록 유도한다.

실험 결과

연구 질문

• RQ1 MSE를 트리플릿 손실과 조합함으로써 마스크 착용자 대비 비마스크 착용자 간의 인식 성능 향상은 어떻게 이루어지는가?
• RQ2 노출된 얼굴 영역에 집중함으로써 MFR에서 모델의 강건성은 어느 정도 향상되는가?
• RQ3 두 단계 훈련 방식(분류 후 임베딩 피니팅)이 MFR 성능 향상에 기여하는가?
• RQ4 기본 모델인 VGGFace2와 비교했을 때 제안된 방법은 실제 마스크 착용 얼굴 인식에서 어떤 성능을 보이는가?
• RQ5 아블레이션 연구를 통해 각 구성요소(CE, 트리플릿 손실, MSE)가 최종 성능에 기여하는 정도는 어떠한가?

주요 결과

• 합성 마스크 착용 얼굴 데이터셋에서 제안된 방법(CE + TL + MSE)은 AUC 0.985, EER 6.2%, FMR10 4.1%를 달성하였다.
• 실제 마스크 착용 얼굴 데이터셋에서, U-M 모드(비마스크 대 마스크)에서 AUC는 0.957을 기록하였으며, EER은 9.799%로 감소하였다.
• 아블레이션 연구를 통해 CE + TL만으로는 성능이 제한되나, MSE를 트리플릿 손실에 추가함으로써 성능 향상이 뚜렷하게 이루어짐을 확인하였다.
• 합성 데이터만으로 훈련된 모델가 실제 마스크 데이터로도 강력한 일반화 성능을 보여, 제안된 손실의 강건성을 입증하였다.
• Grad-CAM++ 시각화 결과, MSE 수정된 모델이 기존 기준 모델보다 노출된 얼굴 영역에 더 높은 초점을 맞추고 있음을 확인하였다.
• 예상대로 M-M(마스크 대 마스크) 모드에서는 성능 향상이 이루어지지 않았다. 이는 훈련 목적이 U-M 검증에 특화되어 있었기 때문이다.