[논문 리뷰] Inducing Predictive Uncertainty Estimation for Face Recognition

Weidi Xie, Jeffrey Byrne외 1명|arXiv (Cornell University)|2020. 09. 01.

Face recognition and analysis참고 문헌 34인용 수 13

한 줄 요약

이 논문은 PCNet을 제안하며, 이는 동일한 신원의 쌍체 이미지에서 자동으로 이미지 품질 훈련 데이터를 생성함으로써 예측 불확실성을 추정하는 경량 신뢰도 네트워크이다. 저품질 입력을 거부하고 세트 기반 융합을 향상시킴으로써 검증의 견고성을 높이며, 기존 방법보다 더 가벼운 아키텍처를 사용하면서도 IJB-C 벤치마크에서 낮은 FAR에서 상당한 성능 향상을 이룬다.

ABSTRACT

Knowing when an output can be trusted is critical for reliably using face recognition systems. While there has been enormous effort in recent research on improving face verification performance, understanding when a model's predictions should or should not be trusted has received far less attention. Our goal is to assign a confidence score for a face image that reflects its quality in terms of recognizable information. To this end, we propose a method for generating image quality training data automatically from 'mated-pairs' of face images, and use the generated data to train a lightweight Predictive Confidence Network, termed as PCNet, for estimating the confidence score of a face image. We systematically evaluate the usefulness of PCNet with its error versus reject performance, and demonstrate that it can be universally paired with and improve the robustness of any verification model. We describe three use cases on the public IJB-C face verification benchmark: (i) to improve 1:1 image-based verification error rates by rejecting low-quality face images; (ii) to improve quality score based fusion performance on the 1:1 set-based verification benchmark; and (iii) its use as a quality measure for selecting high quality (unblurred, good lighting, more frontal) faces from a collection, e.g. for automatic enrolment or display.

연구 동기 및 목표

• 입력 이미지가 저품질일 경우(예: 흐릿한 이미지, 측면 뷰, 얼굴이 아닌 경우) 얼굴 인식 예측에 대한 신뢰도가 떨어져 오진성 또는 오진성이 발생할 수 있는 문제를 해결하기 위해.
• 비용이 많이 드는 인간 레이블링을 사용하지 않고도 예측 신뢰도를 학습하는 방법을 개발하기 위해.
• 모든 얼굴 인식 검증 모델과 조합할 수 있는 보편적인 신뢰도 추정기 개발을 위해.
• 오류 감소를 위한 거부, 품질 인식 융합, 자동으로 고품질 얼굴 선택이라는 세 가지 응용 사례에서 실용적 유용성을 입증하기 위해.
• 쌍체 이미지 기반의 신뢰도 추정이 명시적 레이블 없이도 효과적으로 이미지 품질을 모델링할 수 있는지 입증하기 위해.

제안 방법

• 사전 훈련된 검증 모델의 유사도 점수를 활용하여, 동일 신원의 얼굴 이미지 쌍(마이티드 페어)에서 자동으로 이미지 품질 훈련 데이터를 생성한다.
• 저품질 이미지의 경우 인식 가능한 정보가 부족함을 나타내는 낮은 신뢰도 점수를 예측하기 위해 경량 네트워크인 PCNet(ResNet18 기반)을 훈련시킨다.
• 신뢰도 점수를 사용하여 세트 기반 검증에서 특징 임베딩을 가중치를 적용하고, 가중 평균 세트 기반 서술자 계산: $ v = \sum_i s_i v_i / \sum_i s_i $.
• 신원가지고 있는 쌍의 내재된 구조를 활용하여, 일치 대상과의 유사도가 낮은 이미지는 낮은 신뢰도로 할당함으로써 보조 품질 신호를 정의한다.
• 추론 단계에서 PCNet을 적용하여 저신뢰도 이미지를 거부하거나, 등록 또는 표시 시 고품질 이미지를 우선순위로 지정한다.
• 실제 세계의 다양성과 변동성을 반영한 다양한 이미지 및 영상 세트를 포함하는 IJB-C 벤치마크를 사용하여 훈련 및 평가를 수행한다.

실험 결과

연구 질문

• RQ1 신원 레이블이 있는 데이터셋에서 유도된 쌍체 이미지 데이터를 활용하여 인간 레이블링 없이도 예측 신뢰도를 학습할 수 있는가?
• RQ2 저품질 이미지를 거부함으로써 PCNet이 1:1 얼굴 인식 검증에서 오류율을 얼마나 효과적으로 감소시키는가?
• RQ3 신뢰도 기반 융합이 균일 평균화와 비교해 세트 기반 얼굴 인식 벤치마크 성능을 향상시키는가?
• RQ4 PCNet이 자동 등록 또는 표시 파이프라인에서 고품질 얼굴을 선택하는 데 있어 얼마나 신뢰할 수 있는 품질 측정 기준이 될 수 있는가?
• RQ5 PCNet이 ResNet101 및 SENet50와 같은 다양한 얼굴 인식 아키텍처에 대해 일반화 가능한가?

주요 결과

• PCNet은 IJB-C 벤치마크에서 1:1 이미지 기반 검증 성능을 크게 향상시켜, FAR=1E-2에서 True Accept Rate(TAR)가 0.970에 도달하며 기준 모델을 능가한다.
• FAR=1E-6에서 PCNet은 ResNet50 기반으로 0.693, SENet50 기반으로 0.695의 TAR을 기록하며 QNet 및 MNet 기준 모델을 초월한다.
• 세트 기반 검증에서 PCNet은 모든 지표에서 2–8%의 성능 향상을 이룩하였으며, 특히 저품질 이미지가 평균 임베딩을 가장 심하게 왜곡시키는 낮은 FAR 영역에서 가장 큰 성과를 보였다.
• 신뢰도 점수는 인간의 이미지 품질 인식과 잘 일치하며, 흐릿한 이미지, 비얼굴 이미지, 극단적인 자세를 가진 이미지에 대해 일관되게 낮은 점수를 할당한다.
• 이전의 신뢰도 네트워크(예: ResNet50)보다 훨씬 가벼운 아키텍처(ResNet18)를 사용함으로써 실시간 배포에 효율적이다.
• 이 방법은 보편적으로 적용 가능하다: PCNet은 재학습 없이도 어떤 검증 모델과도 조합하여 견고성을 향상시킬 수 있다.