[논문 리뷰] Low Resolution Face Recognition in the Wild

Pei Li, Loreto R. Prieto외 2명|arXiv (Cornell University)|2018. 05. 29.

Face recognition and analysis참고 문헌 2인용 수 7

한 줄 요약

이 논문은 실생활 감시 환경에서 저해상도 얼굴 인식을 위한 종합적인 접근법을 제안하며, 초해상도, GAN 기반 사전 훈련, 그리고 완전 컨volution 네트워크를 활용하여 SCFace 및 UCCSface와 같은 도전적인 데이터셋에서 성능을 향상시킨다. 딥러닝과 저품질 얼굴 데이터를 위한 특수 설계된 아키텍처를 결합함으로써 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Although face recognition systems have achieved impressive performance in recent years, the low-resolution face recognition (LRFR) task remains challenging, especially when the LR faces are captured under non-ideal conditions, as is common in surveillance-based applications. Faces captured in such conditions are often contaminated by blur, nonuniform lighting, and nonfrontal face pose. In this paper, we analyze face recognition techniques using data captured under low-quality conditions in the wild. We provide a comprehensive analysis of experimental results for two of the most important applications in real surveillance applications, and demonstrate practical approaches to handle both cases that show promising performance. The following three contributions are made: {\em (i)} we conduct experiments to evaluate super-resolution methods for low-resolution face recognition; {\em (ii)} we study face re-identification on various public face datasets including real surveillance and low-resolution subsets of large-scale datasets, present a baseline result for several deep learning based approaches, and improve them by introducing a GAN pre-training approach and fully convolutional architecture; and {\em (iii)} we explore low-resolution face identification by employing a state-of-the-art supervised discriminative learning approach. Evaluations are conducted on challenging portions of the SCFace and UCCSface datasets.

연구 동기 및 목표

• 왜곡, 낮은 조명, 비면대칭 자세와 같은 비이상적인 감시 조건에서 지속적인 저해상도 얼굴 인식 과제를 해결한다.
• 인식을 지원하기 위해 저품질 얼굴 이미지를 향상시키기 위해 초해상도 기법의 평가 및 개선을 시도한다.
• 공개 데이터셋의 저해상도 서브셋을 기반으로 딥러닝 기반 얼굴 재식별 방법의 기준선 설정 및 향상.
• 최신 모델을 사용하여 저해상도 얼굴 식별을 위한 감독 기반 분류 학습 탐색.
• 실생활 감시 응용에 적용 가능한 실용적이고 고성능 솔루션을 제시한다.

제안 방법

• 인식 이전에 저해상도 얼굴 이미지를 향상시키기 위해 초해상도 기법을 적용하여 후속 모델의 입력 품질을 향상시킨다.
• 저해상도 데이터에서 딥 페이스 재식별 모델의 특징 학습을 향상시키기 위해 GAN 기반 사전 훈련 전략을 도입한다.
• 저해상도 입력에서의 엔드 투 엔드 학습과 더 나은 특징 추출을 가능하게 하기 위해 완전 컨볼루션 네트워크 아키텍처를 설계 및 구현한다.
• 실제 환경 조건에서 모델을 훈련하고 평가하기 위해 실제 감시 및 저해상도 서브셋을 포함한 대규모 데이터셋을 활용한다.
• 향상된 특징 표현과 감독 기반 분류 학습을 조합하여 저해상도 얼굴에서의 식별 정확도를 향상시킨다.
• SCFace 및 UCCSface 데이터셋에서 실험을 수행하여 제안된 방법의 실생활 도전 조건 하에서의 효과성을 검증한다.

실험 결과

연구 질문

• RQ1 실생활에서 촬영된 저해상도 얼굴에 대해 초해상도 기법이 얼마나 효과적으로 인식 정확도를 향상시키는가?
• RQ2 GAN 기반 사전 훈련이 저해상도 얼굴 재식별을 위한 딥러닝 모델에 얼마나 기여하는가?
• RQ3 표준 CNN과 비교해 완전 컨볼루션 아키텍처가 저해상도 얼굴 인식 성능을 어떻게 향상시키는가?
• RQ4 GAN 사전 훈련과 완전 컨볼루션 네트워크를 조합했을 때 저해상도 얼굴 데이터셋에서 달성할 수 있는 성능 향상은 어느 정도인가?
• RQ5 제안된 방법들이 SCFace 및 UCCSface의 도전적인 서브셋에서 기존 기준선과 비교해 어떻게 성능을 냅니다?

주요 결과

• 초해상도 기법은 특히 딥러닝 모델과 조합되었을 때 저해상도 얼굴의 인식 성능을 크게 향상시킨다.
• 제안된 GAN 사전 훈련 방법은 저해상도 데이터에서 얼굴 재식별 정확도에 측정 가능한 향상을 이끌어낸다.
• 완전 컨볼루션 아키텍처는 표준 컨볼루션 레이어와 비교해 저해상도 입력에서 더 나은 특징 학습과 일반화를 가능하게 한다.
• GAN 사전 훈련과 완전 컨볼루션 네트워크의 조합은 평가된 저해상도 얼굴 데이터셋에서 최신 기술 수준의 성능을 달성한다.
• 제안된 방법들은 특히 SCFace 및 UCCSface의 도전적인 부분에서 강건성과 실용적 적용 가능성을 입증한다.