[논문 리뷰] Image Resolution Susceptibility of Face Recognition Models.

Martin Knoche, Stefan Hörmann외 1명|arXiv (Cornell University)|2021. 07. 08.

Face recognition and analysis참고 문헌 35인용 수 5

한 줄 요약

이 논문은 다양한 이미지 해상도, 특히 해상도가 다른 쌍에서의 얼굴 인식 성능 저하를 조사한다. 저해상도 데이터로 훈련하는 것과 코사인 거리 손실을 사용하는 시아모이즈 네트워크를 제안하여 저해상도 조건에서의 강인성을 향상시키며, 5×5 픽셀 해상도에서 약 70%의 정확도를 달성한다. 다만, 각 해상도 조합에 맞게 모델을 재학습해야 한다.

ABSTRACT

Face recognition approaches often rely on equal image resolution for verification faces on two images. However, in practical applications, those image resolutions are usually not in the same range due to different image capture mechanisms or sources. In this work, we first analyze the impact of image resolutions on the face verification performance with a state-of-the-art face recognition model. For images, synthetically reduced to $5\, imes 5\, \mathrm{px}$ resolution, the verification performance drops from $99.23\%$ increasingly down to almost $55\%$. Especially, for cross-resolution image pairs (one high- and one low-resolution image), the verification accuracy decreases even further. We investigate this behavior more in-depth by looking at the feature distances for every 2-image test pair. To tackle this problem, we propose the following two methods: 1) Train a state-of-the-art face-recognition model straightforward with $50\%$ low-resolution images directly within each batch. 2) Train a siamese-network structure and adding a cosine distance feature loss between high- and low-resolution features. Both methods show an improvement for cross-resolution scenarios and can increase the accuracy at very low resolution to approximately $70\%$. However, a disadvantage is that a specific model needs to be trained for every resolution-pair ...

연구 동기 및 목표

• 최신 얼굴 인식 모델을 사용하여 이미지 해상도가 얼굴 검증 성능에 미치는 영향을 분석한다.
• 동일 해상도 쌍과 비교하여, 한 고해상도와 한 저해상도 이미지를 조합한 교차 해상도 쌍에서의 성능 저하 정도를 규명한다.
• 특히 교차 해상도 검증에 대해 저해상도 조건에서도 강인한 성능을 보이도록 방법을 개발한다.
• 저해상도 데이터로 전용 훈련을 하거나, 고해상도 및 저해상도 특징 간 코사인 거리 손실을 사용하는 시아모이즈 아키텍처가 해상도 유도 성능 저하를 완화할 수 있는지 평가한다.

제안 방법

• 저해상도 이미지(5×5 픽셀로 리샘플링)를 50% 비율로 포함하여 최신 얼굴 인식 모델을 훈련시켜 저해상도 입력에 대한 일반화 능력을 향상시킨다.
• 고해상도 및 저해상도 이미지 쌍을 동시에 처리하는 병렬 구조를 갖춘 시아모이즈 네트워크 아키텍처를 설계한다.
• 고해상도 및 저해상도 이미지의 특징 임베딩 간 코사인 거리 손실을 도입하여, 해상도의 차이에도 불구하고 특징 유사성을 유지하도록 유도한다.
• 삼중체 손실과 제안된 코사인 거리 손실을 함께 사용하여 시아모이즈 모델을 엔드 투 엔드로 최적화하고, 다양한 해상도 수준 간 특징를 정렬한다.
• 각 해상도 조합에 맞게 별도의 모델을 훈련시어 특정 조합에서 최적의 성능을 확보한다.
• 특징 거리 분석 및 검증 정확도 지표를 사용하여 교차 해상도 검증 작업에서의 성능을 평가한다.

실험 결과

연구 질문

• RQ1 이미지 해상도가 최신 얼굴 인식 모델의 검증 정확도에 어떤 영향을 미치는가?
• RQ2 고해상도 이미지와 저해상도 이미지를 매칭할 때(교차 해상도 쌍), 성능 저하 정도는 어느 정도인가?
• RQ3 저해상도 이미지로 훈련하면 모델의 해상도 변동에 대한 강인성이 향상되는가?
• RQ4 고해상도 및 저해상도 특징 간 코사인 거리 손실을 사용하는 시아모이즈 네트워크가 교차 해상도 검증 정확도를 향상시킬 수 있는가?
• RQ5 제안된 방법이 극저해상도(예: 5×5 픽셀)에서 성능을 어느 정도 복원할 수 있는가?

주요 결과

• 고해상도에서의 검증 정확도는 99.23%에서 5×5 픽셀으로 감소시킬 경우 약 55%로 감소한다.
• 동일 해상도 쌍과 비교하여, 한 고해상도와 한 저해상도 이미지를 조합한 교차 해상도 검증의 정확도가 더 낮아진다.
• 50% 저해상도 이미지로 훈련하는 제안된 방법은 교차 해상도 성능을 향상시키며, 5×5 픽셀 해상도에서 약 70%의 정확도를 달성한다.
• 코사인 거리 특징 손실을 사용하는 시아모이즈 네트워크 역시 5×5 픽셀 해상도에서 약 70%의 정확도를 달성한다.
• 두 방법 모두 저해상도 및 교차 해상도 상황에서 유의미한 성능 향상을 보였지만, 각 해상도 조합에 맞게 재학습이 필요하다.
• 특징 거리 분석을 통해 해상도 불일치가 이종 간 거리 증가를 유도함을 확인하였으며, 이는 해상도 인식 훈련의 필요성을 뒷받침한다.