[논문 리뷰] AdaFace: Quality Adaptive Margin for Face Recognition

Minchul Kim, Anil K. Jain외 1명|arXiv (Cornell University)|2022. 04. 03.

Face recognition and analysis인용 수 6

한 줄 요약

AdaFace는 이미지 품질을 기반으로 동적으로 학습 강조를 조정하는 품질 적응형 마진 손실을 제안한다. 이는 특징 노름을 품질의 대체 지표로 사용한다. 고품질 이미지에서 어려운 샘플을 우선시하고, 저품질 이미지에서 식별 불가능한(매우 어려운) 샘플을 경감함으로써, IJB-B, IJB-C, IJB-S 및 TinyFace와 같은 저품질 및 혼합 품질 얼굴 인식 벤치마크에서 최신 기술 성능을 달성한다.

ABSTRACT

Recognition in low quality face datasets is challenging because facial attributes are obscured and degraded. Advances in margin-based loss functions have resulted in enhanced discriminability of faces in the embedding space. Further, previous studies have studied the effect of adaptive losses to assign more importance to misclassified (hard) examples. In this work, we introduce another aspect of adaptiveness in the loss function, namely the image quality. We argue that the strategy to emphasize misclassified samples should be adjusted according to their image quality. Specifically, the relative importance of easy or hard samples should be based on the sample's image quality. We propose a new loss function that emphasizes samples of different difficulties based on their image quality. Our method achieves this in the form of an adaptive margin function by approximating the image quality with feature norms. Extensive experiments show that our method, AdaFace, improves the face recognition performance over the state-of-the-art (SoTA) on four datasets (IJB-B, IJB-C, IJB-S and TinyFace). Code and models are released in https://github.com/mk-minchul/AdaFace.

연구 동기 및 목표

• 학습 데이터에서 식별 불가능한 얼굴 이미지의 문제를 다루어, 저품질 데이터셋에서 모델 성능이 떨어지는 것을 방지하기 위해.
• 샘플의 난이도와 이미지 품질에 따라 손실 함수의 중요도를 적응적으로 조정함으로써 얼굴 인식의 강인성을 향상시키기 위해.
• 저품질 이미지에서 식별 불가능한(매우 어려운) 샘플을 과도하게 강조하지 않으면서도, 인식 가능한 어려운 샘플에 집중할 수 있는 손실 함수를 설계하기 위해.
• 특징 노름이 손실 함수 적응에 있어 이미지 품질의 효과적인 대체 지표가 될 수 있음을 입증하기 위해.
• 다양한 이미지 품질을 가진 다양한 얼굴 인식 벤치마크에서 최신 기술 성능을 달성하기 위해.

제안 방법

• 딥 임bedding의 특징 노름을 기반으로 변화하는 적응형 마진 함수를 손실에 도입하여, 이는 이미지 품질의 대체 지표로 기능한다.
• 높은 특징 노름은 고품질 이미지를 나타내며, 이에 따라 손실이 어려운 샘플을 강조한다. 낮은 노름은 저품질 이미지를 나타내며, 이에 따라 매우 어려운 샘플이 경감된다.
• 마진 함수는 ArcFace 손실 프레임워크에 통합되어, 샘플의 특징 노름에 따라 각도 마진을 조정함으로써 기울기 스케일을 제어한다.
• 추가적인 학습 가능한 레이어나 이중 단계 학습이 필요 없어 기존의 얼굴 인식 백본과 쉽게 통합할 수 있다.
• 단일 통합 손실 함수에 난이도와 품질 인식을 통합함으로써, 암묵적인 커리큘럼 학습을 처리한다.
• 외부 품질 추정 또는 히ュ리스틱 임계값이 필요 없이, 훈련 중에 엔드 투 엔드로 손실을 최적화한다.

실험 결과

연구 질문

• RQ1 이미지 품질을 효과적으로 활용하여, 얼굴 인식 훈련 중 어려운 샘플과 쉬운 샘플의 중요도를 적응적으로 조절할 수 있는가?
• RQ2 특징 노름을 이미지 품질의 대체 지표로 사용할 경우, 저품질 얼굴 인식 데이터셋에서 일반화 성능이 향상되는가?
• RQ3 샘플 난이도와 이미지 품질 양쪽에 적응하는 통합된 손실 함수가 혼합 및 저품질 데이터셋에서 기존의 마진 기반 손실보다 우수한 성능을 낼 수 있는가?
• RQ4 제안된 적응형 마진 함수는 식별 불가능한 이미지에 대해 기존 방법보다 더 강인한가?
• RQ5 적응형 손실이 IJB-B, IJB-C, IJB-S 및 TinyFace와 같은 다양한 이미지 품질을 가진 벤치마크에서 성능 향상에 얼마나 기여하는가?

주요 결과

• AdaFace는 IJB-B, IJB-C, IJB-S 및 TinyFace 데이터셋에서 최신 기술 성능을 달성하였으며, 저품질 벤치마크에서 두 번째로 좋은 방법보다 평균 3.5%의 Rank-1 성능 향상을 보였다.
• IJB-B와 IJB-C에서 AdaFace는 두 번째로 좋은 방법 대비 각각 11%와 9%의 오차 감소를 기록하여 혼합 품질 환경에서 강력한 성능 향상을 보였다.
• IJB-S에서 AdaFace는 두 번째로 좋은 방법 대비 TPIR@FPIR=1%에서 2.4% 향상되어 저품질 샘플로의 일반화 능력이 뛰어나다는 것을 시사한다.
• 추가적인 학습 가능한 레이어나 이중 단계 학습 없이도, 고품질 데이터셋에서 BroadFace, SCF-ArcFace 및 VPL-ArcFace와 같은 경쟁적 베이스라인을 초월한다.
• AdaFace는 MS1MV3 및 WebFace4M를 포함한 여러 데이터셋에서 최신 기술 성능을 달성하여 다양한 훈련 데이터 분포에 대한 강인성을 보였다.
• 특징 노름을 품질 대체 지표로 사용함으로써, 외부 품질 애너테이션이나 히ュ리스틱 임계값 없이도 효과적이고 원활한 마진 함수 적응이 가능하다.