[논문 리뷰] QMagFace: Simple and Accurate Quality-Aware Face Recognition

Philipp Terhörst, Malte Ihlefeld외 5명|arXiv (Cornell University)|2021. 11. 26.

Face recognition and analysis인용 수 4

한 줄 요약

QMagFace는 선형 품질 가중 함수를 통해 모델 고유의 얼굴 이미지 품질을 비교 점수에 통합함으로써 정확도를 향상시키는 단순하면서도 효과적인 얼굴 인식 방법을 제안한다. 크기 인식 각도 마진 손실(MagFace)을 사용해 훈련된 QMagFace는 AgeDB(98.50%), XQLFQ(83.95%), CFP-FP(98.74%)와 같은 벤치마크에서 최신 기술 수준의 성능을 달성하며, 특히 자세나 연령이 다른 조건에서 뛰어난 성능을 보인다.

ABSTRACT

Face recognition systems have to deal with large variabilities (such as different poses, illuminations, and expressions) that might lead to incorrect matching decisions. These variabilities can be measured in terms of face image quality which is defined over the utility of a sample for recognition. Previous works on face recognition either do not employ this valuable information or make use of non-inherently fit quality estimates. In this work, we propose a simple and effective face recognition solution (QMagFace) that combines a quality-aware comparison score with a recognition model based on a magnitude-aware angular margin loss. The proposed approach includes model-specific face image qualities in the comparison process to enhance the recognition performance under unconstrained circumstances. Exploiting the linearity between the qualities and their comparison scores induced by the utilized loss, our quality-aware comparison function is simple and highly generalizable. The experiments conducted on several face recognition databases and benchmarks demonstrate that the introduced quality-awareness leads to consistent improvements in the recognition performance. Moreover, the proposed QMagFace approach performs especially well under challenging circumstances, such as cross-pose, cross-age, or cross-quality. Consequently, it leads to state-of-the-art performances on several face recognition benchmarks, such as 98.50% on AgeDB, 83.95% on XQLFQ, and 98.74% on CFP-FP. The code for QMagFace is publicly available

연구 동기 및 목표

• 일광, 자세, 표정 등 다양한 요인으로 인해 성능이 일관되지 않는 비제약 조건 하에서의 얼굴 인식 성능 향상 문제 해결.
• 이전 방법들이 얼굴 이미지 품질(FIQ)을 간과하거나 비교 과정에서 비효율적인 품질 추정치를 사용하는 한계를 극복.
• 모델 고유의 FIQ를 활용하여 일반화 가능한 품질 인식 비교 함수 개발.
• 자연스러운 다양한 벤치마크와 자세나 연령, 품질이 다른 도전적인 상황에서의 일관된 성능 향상 입증.
• 다양한 백본 아키텍처, 훈련 데이터베이스, 평가 프로토콜 간의 강건성과 일반화 능력 확보.

제안 방법

• 얼굴 이미지 품질과 관련된 임베딩 크기의 상관관계를 가지는 크기 인식 각도 마진(MagFace) 손실을 사용해 얼굴 인식 모델을 훈련.
• 학습된 임베딩의 크기에서 모델 고유의 얼굴 이미지 품질 점수를 추출하여 품질 인식 비교를 가능하게 함.
• 두 얼굴의 평균 품질에 따라 비교 점수 $ s $ 를 조정하는 선형 품질 가중 함수 $ \omega(s) $ 를 도입.
• 품질 인식 비교 점수를 $ \hat{s}(s, q_1, q_2) = s + \omega(s) \cdot \frac{q_1 + q_2}{2} $ 로 정의하며, 여기서 $ \omega(s) $ 는 검증 데이터에서 최적의 임계값을 기반으로 학습됨.
• 다양한 거짓 매칭률(FMR) 임계값에서의 최적 가중치 $ \omega_{\text{opt}} $ 를 선형 피팅을 통해 품질 가중 함수 $ \omega(s) $ 를 최적화.
• 추론 단계에서 품질 인식 점수를 적용하여 진짜 대조군과 위조 대조군 간의 분리도를 향상시키며, 특히 저품질 또는 모호한 얼굴 쌍에서 유의미한 성능 향상을 달성.

실험 결과

연구 질문

• RQ1 모델 고유의 얼굴 이미지 품질을 비교 과정에 통합함으로써 비제약 조건 하에서 얼굴 인식 성능을 일관되게 향상시킬 수 있는가?
• RQ2 다양한 데이터베이스와 결정 임계값에서 비교 점수의 최적 품질 가중치를 모델링하기 위해 선형 함수가 충분한가?
• RQ3 제안된 품질 인식 점수 기반 메커니즘이 다양한 백본 아키텍처와 훈련 데이터셋 간에 일반화되는가?
• RQ4 자세나 연령, 품질이 다른 도전적인 인식 상황에서 품질 인식 접근 방식은 어떻게 성능을 발휘하는가?
• RQ5 품질 인식 비교 함수는 표준 얼굴 인식 벤치마크에서 최신 기술 수준의 성능을 달성할 수 있는가?

주요 결과

• QMagFace는 AgeDB에서 98.50%의 인식 정확도를 기록하며, 특히 연령과 자세가 다른 조건에서 이전 방법들을 압도적으로 뛰어넘는 성능을 보였다.
• XQLFQ 벤치마크에서 QMagFace는 83.95%의 정확도를 달성하여 저품질 이미지가 포함된 인식 작업에서 뛰어난 성능을 입증했다.
• CFP-FP 벤치마크에서 QMagFace는 98.74%의 정확도를 기록하며, 이미지 기반 얼굴 인식 분야에서 최신 기술 수준의 결과를 달성했다.
• 품질 인식 비교 함수는 다양한 거짓 매칭률 범위에서 일관되게 성능 향상을 보였으며, 특히 저FMR 영역에서 두드러진 성능 향상을 보였다.
• 모든 테스트된 데이터베이스와 MagFace 모델에서 최적의 품질 가중 함수 $ \omega(s) $ 는 결정 임계값과 선형 상관관계를 보였으며, 이는 제안된 접근 방식의 단순성과 일반화 능력을 입증한다.
• 이 방법은 높은 일반화 능력을 보였으며, 한 데이터베이스에서 학습된 품질 가중 함수가 다른 데이터베이스로도 잘 일반화되어, 훈련 및 평가 설정 간의 강건성을 입증했다.