[논문 리뷰] Pixel-Level Face Image Quality Assessment for Explainable Face Recognition

Philipp Terhörst, Marco Huber외 4명|arXiv (Cornell University)|2021. 10. 21.

Face recognition and analysis인용 수 4

한 줄 요약

이 논문은 훈련이 필요 없고 모델에 종속되지 않는 방법을 제안하여, 인식 성능에 기여하는 얼굴 영역을 설명하는 픽셀 수준의 얼굴 이미지 품질(PLQ) 지도를 생성한다. 모델 고유의 품질 점수를 추정하고, 샘플 고유의 회귀 모델을 통해 품질 기반 기울기를 역전파함으로써, 설명 가능하고 고해상도의 품질 지도를 생성한다. 이는 차폐, 노이즈 또는 ICAO 기준 미준수로 인한 저품질 영역을 식별하여, 얼굴 인식 시스템의 설명 가능성 향상에 기여한다.

ABSTRACT

An essential factor to achieve high performance in face recognition systems is the quality of its samples. Since these systems are involved in daily life there is a strong need of making face recognition processes understandable for humans. In this work, we introduce the concept of pixel-level face image quality that determines the utility of pixels in a face image for recognition. We propose a training-free approach to assess the pixel-level qualities of a face image given an arbitrary face recognition network. To achieve this, a model-specific quality value of the input image is estimated and used to build a sample-specific quality regression model. Based on this model, quality-based gradients are back-propagated and converted into pixel-level quality estimates. In the experiments, we qualitatively and quantitatively investigated the meaningfulness of our proposed pixel-level qualities based on real and artificial disturbances and by comparing the explanation maps on faces incompliant with the ICAO standards. In all scenarios, the results demonstrate that the proposed solution produces meaningful pixel-level qualities enhancing the interpretability of the complete face image quality. The code is publicly available

연구 동기 및 목표

• 이미지 등록 과정에서 특히 설명 가능성의 부족을 해결하기 위해 얼굴 이미지 품질 평가(FIQA) 시스템의 설명 가능성을 향상시키는 것.
• 품질 문제로 인해 얼굴 이미지가 거부되는 이유를 인간이 이해할 수 있는 피드백을 제공하는 것.
• 재훈련이 필요 없이 인식에 대한 픽셀 수준의 유용성 점수를 할당하는 방법을 개발하는 것.
• 인식 성능을 떨어뜨리는 특정 얼굴 영역을 식별할 수 있도록 하는 것.

제안 방법

• 먼저, 입력 이미지를 사전에 훈련된 얼굴 인식 네트워크의 마지막 레이어를 반복적으로 통과시켜 모델 고유의 품질 추정치 $ Q_I $ 를 계산한다.
• 둘째, FR 모델에 품질 노드 $ N_{\hat{Q}_I} $ 를 추가하여 샘플 고유의 품질 회귀 모델 $ \mathcal{M}_Q(I) $ 를 구성하며, 이는 학습 가능한 가중치 $ \omega_{N_{\hat{Q}_I}} $ 를 통해 연결되며, 추정된 $ Q_I $ 를 타겟으로 사용한다.
• 셋째, $ \mathcal{M}_Q(I) $ 를 통해 품질 기반 기울기를 역전파하여 시각화 지도를 생성한다.
• 시각화 지도는 각 픽셀의 인식에 대한 기여도를 나타내는 픽셀 수준의 품질 지도 $ P(I) $ 로 변환된다.
• 기울기 폭발을 방지하고 안정적인 품질 지도 생성을 보장하기 위해 역전파 과정에서 기울기 클리핑을 적용한다.
• 이 방법은 미세조정이나 재훈련 없이도 사전에 훈련된 얼굴 인식 모델에 적용 가능하다.

실험 결과

연구 질문

• RQ1 얼굴 인식 모델을 재훈련 없이도 픽셀 수준의 품질 지도를 생성할 수 있는가?
• RQ2 제안된 PLQ 지도는 차폐 또는 인위적 손상으로 인한 저품질 영역을 정확히 국소화하는가?
• RQ3 PLQ 지도는 얼굴 이미지의 ICAO 기준 미준수 사항을 탐지할 수 있는가?
• RQ4 PLQ 지도는 이미지 품질이 인식 성능에 미치는 영향을 어떻게 반영하는가?
• RQ5 PLQ 지도는 어떤 얼굴 영역을 향상시켜야 하는지 나타내어 이미지 촬영 향상에 도움이 되는가?

주요 결과

• PLQ 지도가 식별한 저해상도 픽셀 영역을 복원함으로써 얼굴 이미지 품질(FIQ)이 유의미하게 향상되었으며, 이는 방법이 품질 저하 영역을 정확히 탐지하고 있음을 확인한다.
• 얼굴에 인위적인 무작위 마스크를 부착한 경우 PLQ 지도가 이를 신뢰성 있게 저품질 영역으로 탐지하여 이미지 품질 저하에 대한 민감도를 입증한다.
• PLQ 지도는 부분적 차폐, 부적절한 조명 또는 잘못된 얼굴 위치와 같은 ICAO 기준 미준수 영역을 성공적으로 식별하였다.
• 어두운 영역은 때로는 잘 조명된 영역보다 더 높은 픽셀 수준의 품질 점수를 받았으며, 이는 FR 모델이 어두운 영역에서 무늬나 대비를 더 많이 의존할 수 있음을 시사한다.
• ArcFace를 사용할 경우 FaceNet 대비 품질 추정치와 PLQ 지도가 더 안정적이고 정밀하여, 모델 아키텍처와 훈련 방식의 차이를 반영한다.
• 이 방법은 모델에 따라 달라지며, 기반 FR 모델의 편향과 특징 추출 능력에 따라 PLQ 지도가 달라진다.