[논문 리뷰] FaceX-Zoo: A PyTorch Toolbox for Face Recognition

Jun Wang, Yinglu Liu외 3명|arXiv (Cornell University)|2021. 01. 12.

Face recognition and analysis참고 문헌 36인용 수 14

한 줄 요약

FaceX-Zoo는 다양한 백본과 감독 헤드를 활용한 유연한 훈련, 표준화된 벤치마크를 통한 평가, 경량 SDK를 통한 엔드 투 엔드 배포를 가능하게 하는 모듈러하고 PyTorch 기반의 오픈소스 프레임워크이다. 이 프레임워크는 3D 기반의 가상 마스크 합성 방법(FMA-3D)을 도입하여 실제감 있는 마스크 착용 얼굴 데이터를 생성하였으며, MegaFace-Mask에서 78.39%의 랭크-1 정확도를 달성하여 기존 기준보다 50퍼센트 포인트 이상 높은 성능을 기록하였다.

ABSTRACT

Deep learning based face recognition has achieved significant progress in recent years. Yet, the practical model production and further research of deep face recognition are in great need of corresponding public support. For example, the production of face representation network desires a modular training scheme to consider the proper choice from various candidates of state-of-the-art backbone and training supervision subject to the real-world face recognition demand; for performance analysis and comparison, the standard and automatic evaluation with a bunch of models on multiple benchmarks will be a desired tool as well; besides, a public groundwork is welcomed for deploying the face recognition in the shape of holistic pipeline. Furthermore, there are some newly-emerged challenges, such as the masked face recognition caused by the recent world-wide COVID-19 pandemic, which draws increasing attention in practical applications. A feasible and elegant solution is to build an easy-to-use unified framework to meet the above demands. To this end, we introduce a novel open-source framework, named FaceX-Zoo, which is oriented to the research-development community of face recognition. Resorting to the highly modular and scalable design, FaceX-Zoo provides a training module with various supervisory heads and backbones towards state-of-the-art face recognition, as well as a standardized evaluation module which enables to evaluate the models in most of the popular benchmarks just by editing a simple configuration. Also, a simple yet fully functional face SDK is provided for the validation and primary application of the trained models. Rather than including as many as possible of the prior techniques, we enable FaceX-Zoo to easily upgrade and extend along with the development of face related domains. The source code and models are available at https://github.com/JDAI-CV/FaceX-Zoo.

연구 동기 및 목표

• 실세계 환경에서 딥 라이크 페이스 인식 모델의 훈련, 평가 및 배포를 위한 통합적이고 확장 가능한 프레임워크의 부족을 해결하기 위해.
• 최소한의 설정으로 다수의 데이터셋 간 효율적이고 표준화된 벤치마크 평가를 가능하게 하기 위해.
• 합성 데이터 생성을 통해 마스크 착용 얼굴 인식과 같은 새로운 과제를 지원하기 위해.
• 연구자와 개발자가 기반으로 삼을 수 있는 확장성 있고 모듈러하며 확장 가능한 플랫폼을 제공하기 위해.

제안 방법

• 프레임워크는 별도의 훈련, 평가 및 SDK 모듈을 갖춘 모듈러 아키텍처를 채택하여 백본과 감독 헤드의 플러그 앤 플레이 통합을 가능하게 한다.
• 표준 훈련 외에도 얕은 얼굴 데이터에 특화된 전략을 지원하여 제한된 데이터에서의 일반화 능력을 향상시킨다.
• 평가 모듈은 단일 설정 파일을 사용해 여러 벤치마크를 자동으로 테스트한다.
• 3D 기반의 가상 마스크 합성 방법(FMA-3D)은 텍스처 매핑을 UV 공간에 매핑하고 얼굴 기하학과 혼합하여 실제감 있는 마스크 착용 얼굴 이미지를 생성한다.
• 프레임워크는 PRNet을 활용해 3D 얼굴 복원을 수행하고, UV 공간 혼합 기법을 사용해 다양한 자세에서 고해상도의 마스크 착용 얼굴을 합성한다.
• 훈련된 모델은 FMA-3D를 비masked 데이터셋에 적용하여 생성된 확장된 벤치마크인 MegaFace-Mask에서 평가된다.

실험 결과

연구 질문

• RQ1 통합적이고 모듈러한 프레임워크는 어떻게 얼굴 인식 모델의 훈련, 평가 및 배포를 단순화할 수 있는가?
• RQ2 합성 마스크 착용 얼굴 데이터를 사용해 훈련한 마스크 착용 얼굴 인식 모델의 성능 향상은 어느 정도인가?
• RQ3 3D 기반의 가상 마스크 합성 방법은 2D 또는 GAN 기반 접근 방식보다 더 강건하고 현실감 있는 훈련 데이터를 생성할 수 있는가?
• RQ4 마스크 착용 얼굴 데이터의 포함 여부는 실제 환경 조건에서 인식 정확도에 어떤 영향을 미치는가?

주요 결과

• 비마스크된 MS-Celeb1M-v1c 데이터셋에서 훈련된 베이스라인 모델은 마스크 착용 얼굴 벤치마크인 MegaFace-Mask에서 랭크-1 정확도가 오직 27.03%에 그쳤다.
• FMA-3D를 사용해 합성된 마스크 착용 데이터셋(MS-Celeb1M-v1c-Mask)에서 훈련한 결과, MobileFaceNet 백본과 MV-Softmax 헤드를 사용해 랭크-1 정확도가 78.39%로 향상되었다.
• 훈련 중에 상부 얼굴만 잘라내어 사용한 결과 정확도가 71.44%로 향상되어 가시성 있는 얼굴 영역에 집중할 경우의 이점이 입증되었다.
• 상부 얼굴 전용 모델과 마스크 데이터로 훈련된 모델을 앙상블한 결과, MegaFace-Mask에서 랭크-1 정확도가 79.26%로 가장 높아졌다.
• 특히 큰 머리 자세에서 FMA-3D 방법이 해상도와 강건성 면에서 2D 및 GAN 기반 접근 방식을 뛰어넘었다.