[논문 리뷰] Masked Face Recognition Dataset and Application

Zhongyuan Wang, Guangcheng Wang외 12명|arXiv (Cornell University)|2020. 03. 20.

Face recognition and analysis참고 문헌 7인용 수 229

한 줄 요약

이 논문은 세 가지 마스크 얼굴 데이터셋(MFDD, RMFRD, SMFRD)과 마스크 의 occlusion 하에서도 눈-안면 기반의 다중-해상도 모델을 제시하며, 마스크 얼굴 인식에서 95%의 정확도에 도달한다.

ABSTRACT

In order to effectively prevent the spread of COVID-19 virus, almost everyone wears a mask during coronavirus epidemic. This almost makes conventional facial recognition technology ineffective in many cases, such as community access control, face access control, facial attendance, facial security checks at train stations, etc. Therefore, it is very urgent to improve the recognition performance of the existing face recognition technology on the masked faces. Most current advanced face recognition approaches are designed based on deep learning, which depend on a large number of face samples. However, at present, there are no publicly available masked face recognition datasets. To this end, this work proposes three types of masked face datasets, including Masked Face Detection Dataset (MFDD), Real-world Masked Face Recognition Dataset (RMFRD) and Simulated Masked Face Recognition Dataset (SMFRD). Among them, to the best of our knowledge, RMFRD is currently theworld's largest real-world masked face dataset. These datasets are freely available to industry and academia, based on which various applications on masked faces can be developed. The multi-granularity masked face recognition model we developed achieves 95% accuracy, exceeding the results reported by the industry. Our datasets are available at: https://github.com/X-zhangyang/Real-World-Masked-Face-Dataset.

연구 동기 및 목표

• 딥러닝 기반 인식에 사용 가능한 공개 마스크 얼굴 데이터셋의 부족 문제를 해결한다.
• 마스크 얼굴 탐지 및 마스크 얼굴 인식용 데이터셋(실세계 및 시뮬레이션)을 생성한다.
• 가시적 얼굴 특징(눈, 상안면)을 활용하여 마스크 가려짐 하에서 인식을 개선하는 마스크 얼굴 인식 모델을 개발한다.

제안 방법

• 탐지 태스크를 위한 크롤링된 마스크 이미지를 라벨링하고 주석 달기를 통해 MFDD를 구축한다.
• 공공 인물의 이미지를 크롤링하고 마스크/비마스크 얼굴을 페어링한 뒤 수동 정리 및 주석을 수행하여 RMFRD를 구축한다.
• Dlib 기반의 마스크 착용 도구를 사용해 LFW 및 WebFace의 대규모 기존 얼굴 데이터셋에 자동으로 마스크를 적용하여 SMFRD를 만든다.
• 눈 영역, 부안면(eye, periocular), 이마, 윤곽선 등의 가시적 영역에서 특징을 가중하여 마스크 하에서 인식을 개선하는 다중-해상도 인식 모델을 개발한다.
• 구축된 데이터셋에서 모델을 학습 및 평가하여 최대 95%의 정확도를 달성한다.

실험 결과

연구 질문

• RQ1 공개적으로 이용 가능한 마스크 얼굴 데이터셋을 구축하여 탐지와 인식을 위한 딥러닝을 어떻게 지원할 수 있는가?
• RQ2 실세계 대 시뮬레이션 중 어떤 데이터셋 설계가 마스크 얼굴 인식 성능을 더 잘 이끌어내는가?
• RQ3 얼굴이 부분적으로 마스크로 가려진 상태에서 눈-안면 기반의 다중-해상도 모델이 인식 정확도를 개선할 수 있는가?

주요 결과

• MFDD는 탐지 학습에 적합한 24,771장의 마스크 얼굴 이미지를 포함한다.
• RMFRD는 5,000장의 마스크 이미지와 90,000장의 비마스크 이미지로 구성된 525명의 얼굴로 구성된 세계 최대 규모의 실세계 마스크 얼굴 데이터셋으로 주장된다.
• SMFRD는 LFW와 WebFace에 자동으로 마스크를 적용하여 최대 500,000장의 마스크 얼굴 이미지를 10,000명의 피험자로 제공한다.
• 제안된 다중-해상도 모델은 마스크 얼굴 인식 정확도를 기본값(약 50%)에서 95%로 향상시킨다.
• 실세계 조건에서 마스크 얼굴 인식 정확도는 업계에서 약 85-90% 범위이며, 저자들은 이 구성에서 95%를 달성했다.