[논문 리뷰] Boosting Masked Face Recognition with Multi-Task ArcFace

David Montero, Marcos Nieto외 2명|arXiv (Cornell University)|2021. 04. 20.

Face recognition and analysis참고 문헌 26인용 수 7

한 줄 요약

이 논문은 ResNet-50를 수정하고 ArcFace 손실과 이진 교차 엔트로피 손실을 조합하여 마스크가 씌워진 얼굴 인식과 마스크 착용 여부 분류를 동시에 최적화하는 다중 작업 학습 프레임워크인 Multi-Task ArcFace (MTArcFace)를 제안한다. 이 방법은 마스크가 씌워진 LFW에서 98.92%의 정확도와 마스크 감지에서 평균 99.78%의 정확도를 달성하면서도, 마스크가 씌워지지 않은 데이터에 대해서는 원본 성능에 근접하게 유지한다.

ABSTRACT

In this paper, we address the problem of face recognition with masks. Given the global health crisis caused by COVID-19, mouth and nose-covering masks have become an essential everyday-clothing-accessory. This sanitary measure has put the state-of-the-art face recognition models on the ropes since they have not been designed to work with masked faces. In addition, the need has arisen for applications capable of detecting whether the subjects are wearing masks to control the spread of the virus. To overcome these problems a full training pipeline is presented based on the ArcFace work, with several modifications for the backbone and the loss function. From the original face-recognition dataset, a masked version is generated using data augmentation, and both datasets are combined during the training process. The selected network, based on ResNet-50, is modified to also output the probability of mask usage without adding any computational cost. Furthermore, the ArcFace loss is combined with the mask-usage classification loss, resulting in a new function named Multi-Task ArcFace (MTArcFace). Experimental results show that the proposed approach highly boosts the original model accuracy when dealing with masked faces, while preserving almost the same accuracy on the original non-masked datasets. Furthermore, it achieves an average accuracy of 99.78% in mask-usage classification.

연구 동기 및 목표

• 코로나19 패an드emic 동안 마스크 착용으로 인한 얼굴 인식 정확도의 급격한 감소를 해결하기 위해.
• 추가 추론 비용 없이 마스크가 씌워진 얼굴 인식과 마스크 착용 여부를 동시에 향상시키는 통합 딥러닝 프레임워크를 개발하기 위해.
• 기존의 마스크가 씌워지지 않은 얼굴 인식 데이터셋에서 높은 성능을 유지하여 이전 모델과의 후행 호환성을 확보하기 위해.
• 데이터 증강을 활용해 합성된 마스크가 씌워진 훈련 데이터셋을 생성하여 모델의 일반화 능력을 향상시키기 위해.

제안 방법

• 데이터 증강 기법을 사용하여 원본 얼굴 인식 데이터셋에 합성 마스크를 추가하여 데이터셋을 증강한다.
• 추가적인 계산 비용 없이 깊이 있는 특징 임bedding과 마스크 착용 확률 예측을 동시에 출력할 수 있도록 ResNet-50 기반 모델을 수정한다.
• ArcFace 마진 기반 분류 손실과 마스크 감지용 이진 교차 엔트로피 손실을 조합한 새로운 다중 작업 ArcFace(MTArcFace) 손실 함수를 도입한다.
• 원본 얼굴과 마스크가 씌워진 얼굴의 병합된 데이터셋을 사용해 모델을 엔드 투 엔드로 훈련시켜 가림에 대한 강건성을 향상시킨다.
• 두 작업 모두에 공통된 특징 추출기 사용으로 얼굴 인식과 마스크 감지의 공동 최적화를 가능하게 한다.
• 이진 마스크 착용 여부 분류를 위해 마스크 확률 출력에 임계값 0.5를 적용한다.

실험 결과

연구 질문

• RQ1 단일 딥러닝 모델이 마스크가 씌워진 얼굴을 효과적으로 인식하면서 동시에 마스크 착용 여부를 감지할 수 있는가?
• RQ2 마스크가 씌워진 얼굴과 마스크가 씌워지지 않은 얼굴 데이터를 함께 훈련시켰을 때, 마스크가 씌워진 얼굴과 마스크가 씌워지지 않은 얼굴 인식 벤치마크에서의 성능에 어떤 영향을 미치는가?
• RQ3 제안된 방법이 원본 ArcFace 모델 대비 마스크가 씌워지지 않은 얼굴에서의 정확도를 어느 정도 유지하는가?
• RQ4 모델이 얼굴에 마스크가 씌워져 있는지 여부를 분류하는 정확도는 얼마인가?

주요 결과

• 제안된 MTArcFace 모델은 마스크가 씌워진 LFW 데이터셋에서 98.92%의 검증 정확도를 달성하여 원본 ArcFace 모델의 94.75%보다 뚜렷한 향상이 있었다.
• CFP_FP 데이터셋에서 모델은 마스크가 씌워진 얼굴 인식 정확도를 약 12% 향상시켰다(76.81%에서 88.43%로).
• 마스크가 씌워지지 않은 데이터셋에서도 높은 성능를 유지하여, LFW에서 원본 모델 대비 정확도가 0.17% 뿐 감소했다(99.45% 대비 99.62%).
• 모델의 마스크 착용 여부 분류 작업은 모든 테스트 데이터셋에서 평균 99.78%의 정확도를 기록했으며, CFP_FP에서 가장 낮은 성능인 98.82%를 기록했다.
• 측면 얼굴에 대한 모델의 성능는 정면 얼굴에 비해 낮아, 훈련 데이터에 더 많은 측면 얼굴 데이터가 필요함을 시사한다.
• 모델는 마스크가 씌워진 얼굴 인식과 마스크 감지라는 이중 목표를 효과적으로 균형 잡고 있으며, 마스크가 씌워지지 않은 얼굴 인식 성능에 대한 상당한 희생 없이 이를 달성한다.