[논문 리뷰] Face.evoLVe: A High-Performance Face Recognition Library

Qingzhong Wang, Pengfei Zhang외 2명|arXiv (Cornell University)|2021. 07. 19.

Face recognition and analysis참고 문헌 96인용 수 27

한 줄 요약

face.evoLVe은 PyTorch와 PaddlePaddle 간에 다재다능하고 모듈식인 고성능 얼굴 인식 라이브러리로, 공정하고 재현 가능한 비교를 가능하게 하는 다양한 백본, 손실 함수, 데이터 트릭 및 사전 학습 모델을 제공합니다.

ABSTRACT

In this paper, we develop face.evoLVe -- a comprehensive library that collects and implements a wide range of popular deep learning-based methods for face recognition. First of all, face.evoLVe is composed of key components that cover the full process of face analytics, including face alignment, data processing, various backbones, losses, and alternatives with bags of tricks for improving performance. Later, face.evoLVe supports multi-GPU training on top of different deep learning platforms, such as PyTorch and PaddlePaddle, which facilitates researchers to work on both large-scale datasets with millions of images and low-shot counterparts with limited well-annotated data. More importantly, along with face.evoLVe, images before & after alignment in the common benchmark datasets are released with source codes and trained models provided. All these efforts lower the technical burdens in reproducing the existing methods for comparison, while users of our library could focus on developing advanced approaches more efficiently. Last but not least, face.evoLVe is well designed and vibrantly evolving, so that new face recognition approaches can be easily plugged into our framework. Note that we have used face.evoLVe to participate in a number of face recognition competitions and secured the first place. The version that supports PyTorch is publicly available at https://github.com/ZhaoJ9014/face.evoLVe.PyTorch and the PaddlePaddle version is available at https://github.com/ZhaoJ9014/face.evoLVe.PyTorch/tree/master/paddle. Face.evoLVe has been widely used for face analytics, receiving 2.4K stars and 622 forks.

연구 동기 및 목표

• 최신 얼굴 인식 방법에 대한 통합적이고 재현 가능한 프레임워크를 제공한다.
• 탐지, 정렬, 특징 추출, 손실 헤드 등 전체 얼굴 인식 파이프라인을 다룬다.
• 다중 플랫폼(Pytorch와 PaddlePaddle) 및 분산 다중 GPU 학습을 지원한다.
• 모듈식 설계를 통해 사용자 정의 백본과 헤드를 쉽게 연결할 수 있게 한다.
• 공정한 벤치마킹을 촉진하기 위해 전처리 데이터, 학습된 모델, 학습/평가 환경을 공개한다.

제안 방법

• 모듈식 파이프라인: 얼굴 탐지, 랜드마크 기반 정렬, 백본 특징 추출, 손실 헤드 계산.
• 여러 백본(예: ResNet 변형, IR, LightCNN, MobileNet, GhostNet, EfficientNet 등)을 지원.
• 다양한 손실 함수(예: Softmax, ArcFace, CosFace, SphereFace, Triplet, ArcNegFace, CircleLoss, MagFace 등)와 선택적 포컬 변형.
• 훈련 안정성과 성능을 위한 트릭 모음(워밍업, 코사인 감소, 라벨 스무딩, 증류/지식 이전, 커리큘러 접근법).
• 낮은 샷 클래스 처리, 증강, 균형 샘플링 및 재현성을 위한 데이터 전처리 등 데이터 처리 단계.
• 대규모 데이터세트에서 확장을 가능하게 하는 분산 학습을 통한 크로스 플랫폼 학습 지원(예: MS-Celeb-1M, WebFace260M).
• 공정한 벤치마킹을 위한 전처리 데이터, 학습된 모델 및 평가 파이프라인의 제공.

실험 결과

연구 질문

• RQ1 다른 백본과 손실 간의 조합에서 재현 가능 연구를 가속화하는 단일화된 모듈식 라이브러리는 어떻게 작용하는가?
• RQ2 표준화된 얼굴 인식 벤치마크에 대해 다양한 백본과 각도/손실 함수의 영향은 공정한 설정에서 어떠한가?
• RQ3 PyTorch와 PaddlePaddle에서의 분산 학습이 대규모 데이터셋에서도 공정한 비교를 유지하며 효과적으로 확장될 수 있는가?
• RQ4 훈련 트릭(워밍업, 코사인 감소, 라벨 스무딩, 증류)이 모델 간 안정성과 정확도 향상에 의미가 있는가?
• RQ5 공개된 전처리 데이터세트와 학습된 모델이 재현성과 실험 속도에 어떻게 기여하는가?

주요 결과

Backbone	Head	Loss	Testing Dataset	LFW	CFP_FF	CFP_FP	AgeDB	CALFW	CPLFW	Vggface2_FP
IR152	Arcface	Focal	LFW	99.82	99.84	98.37	98.07	96.03	93.05	95.50
IR101	Arcface	Focal	LFW	99.81	99.74	98.25	97.77	95.93	92.74	95.44
IR50	AdaCos	Focal	LFW	99.75	99.53	98.39	97.25	95.55	92.25	95.27
IR152	AdaCos	Focal	LFW	99.82	99.84	98.37	98.07	96.03	93.05	95.50
HRNet	MV-Softmax	Focal	LFW	99.82	99.51	98.41	97.88	95.43	88.95	94.70
TF-NAS-A	AM-Softmax	Focal	LFW	99.82	99.47	98.33	96.65	94.32	84.88	91.38
GhostNet	ArcFace	Focal	LFW	99.69	99.52	98.48	97.29	94.92	85.25	90.88
AttentionNet	AdaCos	Focal	LFW	99.82	99.47	98.52	96.89	95.12	87.23	94.23
MobileFaceNet	AdaCos	Focal	LFW	99.73	99.84	97.75	95.87	94.87	89.29	93.20

• 라이브러리는 다양한 백본(IR50/101/152, ResNet 변형, LightCNN, MobileNet, GhostNet, EfficientNet 등)과 손실(ArcFace, CosFace, SphereFace, AM-Softmax, AdaCos, CircleLoss, MagFace 등)을 지원한다.
• 표는 다양한 백본/헤드/손실 조합을 사용하여 표준 벤치마크(LFW, CALFW, CPLFW, AgeDB, CFP 변형, VggFace2)에서 경쟁력 있는 정확도를 보여준다.
• IR152는 AdaCos 또는 ArcFace 손실과 함께 대규모 데이터(MS-Celeb-1M 또는 Web260M)로 학습되었을 때 LFW, CALFW, CPLFW에서 높은 성능을 달성한다.
• Face.evoLVe는 주요 데이터셋에서 다른 도구상자(FaceX-zoo 등)와 비교해 경쟁력 있거나 우수한 성능을 보여준다.
• 분산 학습을 지원하여 수백만 장의 이미지가 있는 데이터셋으로의 확장을 가능하게 한다.
• 이 라이브러리는 공개 대회에서 최신 기술 수준의 결과를 달성했고 활발한 기여자로 인해 지속적으로 발전하고 있다.