[논문 리뷰] A realistic approach to generate masked faces applied on two novel masked face recognition data sets

Tudor Mare, Georgian Duta외 5명|arXiv (Cornell University)|2021. 09. 03.

Face recognition and analysis인용 수 6

한 줄 요약

이 논문은 SparkAR Studio를 사용하여 합성된 가면이 있는 얼굴을 현실적으로 생성하는 방법을 제안하며, CASIA-WebFace 및 CelebA 데이터셋에 640,446개의 가면이 있는 얼굴 샘플을 추가한다. 이 방법은 가면이 있는 얼굴 인식 성능을 크게 향상시키며, 원본 데이터나 덜 현실적인 가면 데이터로 훈련된 모델에 비해 실제 환경에서의 가면이 있는 얼굴 인식 성능이 뛰어나며, 특히 실제 환경에서의 가면이 있는 벤치마크에서 두드러진 성능 향상을 보인다.

ABSTRACT

The COVID-19 pandemic raises the problem of adapting face recognition systems to the new reality, where people may wear surgical masks to cover their noses and mouths. Traditional data sets (e.g., CelebA, CASIA-WebFace) used for training these systems were released before the pandemic, so they now seem unsuited due to the lack of examples of people wearing masks. We propose a method for enhancing data sets containing faces without masks by creating synthetic masks and overlaying them on faces in the original images. Our method relies on SparkAR Studio, a developer program made by Facebook that is used to create Instagram face filters. In our approach, we use 9 masks of different colors, shapes and fabrics. We employ our method to generate a number of 445,446 (90%) samples of masks for the CASIA-WebFace data set and 196,254 (96.8%) masks for the CelebA data set, releasing the mask images at https://github.com/securifai/masked_faces. We show that our method produces significantly more realistic training examples of masks overlaid on faces by asking volunteers to qualitatively compare it to other methods or data sets designed for the same task. We also demonstrate the usefulness of our method by evaluating state-of-the-art face recognition systems (FaceNet, VGG-face, ArcFace) trained on our enhanced data sets and showing that they outperform equivalent systems trained on original data sets (containing faces without masks) or competing data sets (containing masks generated by related methods), when the test benchmarks contain masked faces.

연구 동기 및 목표

• 강건한 얼굴 인식 시스템을 훈련하기 위한 현실적이고 대규모의 가면이 있는 얼굴 데이터 부족 문제를 해결하기 위해.
• COVID-19 패an 동안 광범위한 마스크 착용으로 인한 분포 이탈 문제를 해결하기 위해.
• 접근 가능한 도구를 사용하여 가면이 없는 얼굴에 현실적인 마스크를 자동으로 합성할 수 있는 확장 가능한 자동화된 방법을 개발하기 위해.
• 최신 기술의 얼굴 인식 모델이 가면이 있는 얼굴 인식 작업에서 성능을 향상시키기 위해.
• 가면의 현실성이 직접적으로 모델의 일반화 능력과 인식 정확도에 영향을 준다는 것을 입증하기 위해.

제안 방법

• Instagram 필터 제작을 위해 페이스북에서 개발한 도구인 SparkAR Studio를 활용하여 현실적인 질감, 색상, 형태의 합성 마스크를 생성하기 위해.
• 기존 데이터셋의 가면이 없는 얼굴에 색상, 형태, 소재가 다른 9종의 마스크 유형을 적용하기 위해.
• 마스크 오버레이 중 정확한 얼굴 랜드마크 검출과 색상 일관성을 확보하기 위해 Dlib-ml과 ColorMatcher를 사용하기 위해.
• 정렬과 현실성 확보를 위한 맞춤형 검증 스크립트를 활용하여 마스크 생성 파이프라인을 자동화하기 위해.
• 전체 전처리 스크립트와 함께 https://github.com/securifai/masked_faces 에서 향상된 데이터셋을 공개하기 위해.
• 기존 데이터셋과 향상된 데이터셋 모두에서 최신 기술의 얼굴 인식 모델(FaceNet, VGG-face, ArcFace)을 훈련하고 평가하기 위해.

실험 결과

연구 질문

• RQ1 소비자 수준의 도구인 SparkAR Studio를 사용한 합성 마스크 생성이 기존 방법보다 더 현실적인 가면이 있는 얼굴 이미지를 생성할 수 있는가?
• RQ2 소비자 수준의 도구로 생성된 합성 마스크 데이터로 훈련된 얼굴 인식 모델이 실제 가면이 있는 얼굴 벤치마크에서 성능 향상을 보일 수 있는가?
• RQ3 합성 마스크의 현실성이 얼굴 인식 시스템의 일반화 능력에 어떤 영향을 미치는가?
• RQ4 현실적인 마스크가 포함된 향상된 데이터셋이 검은색으로 가린 마스크나 덜 현실적인 합성 마스크를 사용한 베이스라인에 비해 성능이 뛰어나게 되는가?
• RQ5 가면의 현실성이 실제 환경에서의 가면이 있는 얼굴 데이터에서의 인식 정확도와 어느 정도 상관관계가 있는가?

주요 결과

• 제안된 방법은 CASIA-WebFace의 90%인 445,446개의 가면이 있는 얼굴과 CelebA의 96.8%인 196,254개의 가면이 있는 얼굴을 생성하여 훈련 데이터를 크게 확장하였다.
• 인간 평가 결과, SparkAR Studio로 생성된 마스크는 경쟁 방법에 비해 훨씬 더 현실적으로 보였으며, 특히 질감과 색상 일관성이 뛰어났다.
• 향상된 데이터셋으로 훈련된 얼굴 인식 모델은 MFR2 실제 가면이 있는 얼굴 벤치마크에서 96.22%의 정확도를 기록하여, 검은색으로 가린 마스크로 훈련된 모델(93.04%)과 MaskTheFace로 훈련된 모델(95.16%)보다 뛰어난 성능을 보였다.
• 합성 마스크가 포함된 CASIA-WebFace 테스트 세트에서 ArcFace로 훈련된 모델은 91.47%의 정확도를 기록했고, 원본 데이터로 훈련된 경우는 87.95%였다.
• 현실적인 마스크로 훈련된 모델과 검은색으로 가린 마스크로 훈련된 모델 간의 성능 격차는 약 3%였으며, 이는 마스크의 형태와 질감이 유용한 얼굴 정보를 제공한다는 것을 시사한다.
• MobileNetV2 기반의 이진 분류기는 가면이 있는 얼굴과 없는 얼굴을 구분하는 데 99.44%의 정확도를 기록하여 동적 시스템 전환을 가능하게 하였다.