[논문 리뷰] Automatic Face Image Quality Prediction

Lacey Best-Rowden, Anil K. Jain|arXiv (Cornell University)|2017. 06. 29.

Face recognition and analysis참고 문헌 3인용 수 13

한 줄 요약

이 논문은 인간 평가 점수와 매처 기반 유사도 점수를 이용하여 깊이 학습 기반의 자동 얼굴 이미지 품질 예측 방법을 제안한다. 이는 사전 훈련된 ConvNet의 특징을 기반으로 한 서포트 벡터 회귀(SVR) 모델을 활용하며, 매칭을 위한 고품질 얼굴 이미지 선택 시 1% FMR에서 최소 13% 이상의 FNMR 감소를 이룬다. 이는 LFW 및 IJB-A 데이터셋에서 강력한 교차 데이터베이스 일반화 성능을 보여준다.

ABSTRACT

Face image quality can be defined as a measure of the utility of a face image to automatic face recognition. In this work, we propose (and compare) two methods for automatic face image quality based on target face quality values from (i) human assessments of face image quality (matcher-independent), and (ii) quality values computed from similarity scores (matcher-dependent). A support vector regression model trained on face features extracted using a deep convolutional neural network (ConvNet) is used to predict the quality of a face image. The proposed methods are evaluated on two unconstrained face image databases, LFW and IJB-A, which both contain facial variations with multiple quality factors. Evaluation of the proposed automatic face image quality measures shows we are able to reduce the FNMR at 1% FMR by at least 13% for two face matchers (a COTS matcher and a ConvNet matcher) by using the proposed face quality to select subsets of face images and video frames for matching templates (i.e., multiple faces per subject) in the IJB-A protocol. To our knowledge, this is the first work to utilize human assessments of face image quality in designing a predictor of unconstrained face quality that is shown to be effective in cross-database evaluation.

연구 동기 및 목표

• 비구속 환경에서 얼굴 인식 성능을 향상시키는 자동 얼굴 이미지 품질 예측 시스템을 개발하는 것.
• 인간 평가 기반 얼굴 이미지 품질과 FNMR 및 FMR 등의 인식 성능 지표 간의 상관관계를 조사하는 것.
• 인식 정확도 향상에 있어 인간 평가 품질 예측과 매처 기반 품질 점수 예측의 효과성을 비교하는 것.
• 제안된 품질 예측기가 다양한 얼굴 이미지 데이터베이스(LFW 및 IJB-A) 간에 일반화되는지를 평가하는 것.
• 품질 기반 융합, 재획득 요청, 적응형 인식과 같은 실용적 응용을 가능하게 하기 위해 매칭 이전에 저품질 이미지를 식별하는 것.

제안 방법

• 이 방법은 얼굴 이미지에서 추출한 딥 컨volution 네트워크(ConvNet) 특징을 기반으로 훈련된 서포트 벡터 회귀(SVR) 모델을 사용한다.
• 두 가지 품질 예측 목표를 사용한다: 인간 평가 기반 얼굴 이미지 품질(HQV)과 유사도 점수에서 유도된 매처 기반 품질 점수(MQV).
• ConvNet 특징는 사전 훈련된 Deep-320 네트워크에서 추출되며, 이는 얼굴 인식을 위해 훈련되어 품질에 영향을 받지 않는 표현을 캡처한다.
• HQV 예측기는 LFW 데이터셋에서 커뮤니티 기반으로 수집한 인간 평가 점수를 기반으로 훈련되며, MQV 예측기는 얼굴 매처에서 도출된 쌍별 매칭 점수를 사용한다.
• 최종 품질 점수는 IJB-A 프로토콜에서 템플릿 기반 매칭을 위한 고품질 얼굴 이미지의 순위 매기기 및 선택에 사용된다.
• 교차 데이터베이스 평가를 위해 LFW에서 훈련하고 IJB-A에서 테스트하여 일반화 성능을 평가한다.

실험 결과

연구 질문

• RQ1 딥 특징와 인간 평가 점수를 이용해 인간 평가 기반 얼굴 이미지 품질을 신뢰성 있게 예측하고, 이를 얼굴 인식 성능 향상에 활용할 수 있는가?
• RQ2 인간 평가 품질 예측과 매처 기반 품질 점수 예측 간의 인식 성능 향상 정도를 비교할 때 어떤 것이 더 우수한가?
• RQ3 제안된 품질 예측기가 다양한 비구속 얼굴 이미지 데이터베이스 간에 일반화되는가?
• RQ4 실제 인식 시나리오에서 고정된 FMR에서 품질 기반 이미지 선택이 FNMR를 얼마나 줄이는가?
• RQ5 품질 예측 모델이 품질 기반 융합 및 적응형 인식과 같은 실용적 응용에 효과적으로 활용될 수 있는가?

주요 결과

• IJB-A 프로토콜에서 COTS-A 및 ConvNet 매처 모두에 대해 인간 평가 기반 품질 값으로 고품질 얼굴 이미지를 선택함으로써 1% FMR에서 최소 13% 이상의 FNMR 감소를 달성했다.
• LFW 데이터베이스에서 인간 품질 평가 기반으로 하위 5%의 저품질 이미지를 거르는 조치로 FNMR이 2% 감소했다.
• 매처 기반 품질 점수(MQV) 예측보다 인간 평가 품질(HQV) 예측이 더 우수했으며, MQV는 특정 매처의 동작 방식과 쌍별 이미지 요소에 민감하기 때문이다.
• LFW 데이터에서 훈련된 품질 예측기는 IJB-A 데이터셋으로 잘 일반화되어, 교차 데이터베이스 효과성을 입증했다.
• 순위 매겨진 얼굴 이미지의 시각적 점검 결과, 제안된 방법이 다양한 데이터베이스 간에도 인식된 품질 기반으로 이미지를 효과적으로 순위 매김을 확인했다.
• 제안된 방법은 품질 기반 이미지 선택에서 최신 기술인 RQS 방법 [29]과 유사한 성능을 보여, 그 효과성을 검증했다.