[논문 리뷰] MagFace: A Universal Representation for Face Recognition and Quality Assessment

Qiang Meng, Shichao Zhao외 2명|arXiv (Cornell University)|2021. 03. 11.

Face recognition and analysis참고 문헌 45인용 수 37

한 줄 요약

MagFace는 특징 크기가 품질 지표로 작용하는 보편 얼굴 임베딩을 학습하여, 추가 품질 라벨 없이도 인식, 품질 평가, 클러스터링을 개선하기 위해 적응 마진을 안내합니다.

ABSTRACT

The performance of face recognition system degrades when the variability of the acquired faces increases. Prior work alleviates this issue by either monitoring the face quality in pre-processing or predicting the data uncertainty along with the face feature. This paper proposes MagFace, a category of losses that learn a universal feature embedding whose magnitude can measure the quality of the given face. Under the new loss, it can be proven that the magnitude of the feature embedding monotonically increases if the subject is more likely to be recognized. In addition, MagFace introduces an adaptive mechanism to learn a wellstructured within-class feature distributions by pulling easy samples to class centers while pushing hard samples away. This prevents models from overfitting on noisy low-quality samples and improves face recognition in the wild. Extensive experiments conducted on face recognition, quality assessments as well as clustering demonstrate its superiority over state-of-the-arts. The code is available at https://github.com/IrvingMeng/MagFace.

연구 동기 및 목표

• 입력 얼굴 품질에 대한 별도의 품질 라벨 없이 엔드투엔드 얼굴 인식 시스템을 동기부여합니다.
• 얼굴 임베딩 공간 내에서 품질 지표로서의 크기를 도입합니다.
• 크기 인식 각도 마진과 구조를 제어하는 정규화 항을 갖춘 MagFace 손실을 개발합니다.
• 표준 벤치마크에서 얼굴 인식, 품질 평가 및 클러스터링의 향상을 입증합니다.

제안 방법

• 크기 a_i = ||f_i|| 와 두 가지 보조 함수: 크기 인식 마진 m(a_i) 및 정규화 항 g(a_i)를 정의합니다.
• arcFace를 확장하여 고정 마진을 m(a_i)로 대체하고 정규화 항 lambda_g g(a_i)를 더합니다.
• 두 가지 성질을 증명합니다: 수렴성(L_i가 고유한 최적 a_i^*를 갖는 엄격한 볼록성) 및 단조성(a_i^*가 중심과의 코사인 거리 감소에 따라 증가).
• 더 큰 크기가 더 높은 얼굴 품질과 더 나은 인식 가능성에 해당하며, 저품질 샘플은 제약 가능한 영역 내의 원점으로 끌려간다고 주장합니다.

실험 결과

연구 질문

• RQ1 얼굴 품질의 신뢰할 수한 레이블 없는 지표로 특징 크기를 인식 모델 내에서 사용할 수 있는가?
• RQ2 크기 인식 손실이 비제약 조건에서 내부 클래스 구조와 클래스 간 분리를 개선하는가?
• RQ3 MagFace가 인식뿐 아니라 품질 평가 및 클러스터링과 같은 다운스트림 작업을 향상시킬 수 있는가?
• RQ4 크기 인식 마진이 샘플 난이도에 어떻게 적응하고 노이즈에 대한 과적합을 방지하는가?

주요 결과

• MagFace는 ArcFace 및 기타 기준선과 비교하여 여러 벤치마크(LFW, CFP-FP, AgeDB-30, CALFW, CPLFW, IJB-B, IJB-C)에서 최고의 검증 정확도를 달성합니다.
• 학습된 특징의 크기가 인식 난이도 및 클래스 센터와의 근접성에 상관관계를 보이며, 추가 라벨 없이도 품질 인식 가중치를 가능하게 합니다.
• MagFace는 K-평균, AHC, DBSCAN, L-GCN에서 향상된 클러스터링 성능을 보이며 F-score 및 NMI 지표에서 ArcFace 기준선을 능가합니다.
• 정성 분석에서 평균 얼굴이 더 높은 크기에서 더 자세해지는 것을 보여주며, MagFace의 품질 표현을 시사합니다.
• MagFace+ (크기 가중 집계)는 IJB-B/C 벤치마크에서 동일한 신원 임베딩을 추가로 향상시킵니다.
• MagFace의 크기 기반 품질 평가는 여러 데이터셋에서 이미지 및 얼굴 기반 기준선보다 우수합니다.