[논문 리뷰] Face Recognition in Low Quality Images: A Survey

Pei Li, Loreto R. Prieto외 2명|arXiv (Cornell University)|2018. 05. 29.

Advanced Image Processing Techniques참고 문헌 135인용 수 47

한 줄 요약

저화질 얼굴 인식(LQFR) 접근법, 데이터셋, 도전과제를 포괄적으로 조사하며 초해상, 강인한 특징, 통합 표현, 디블러링 기법을 다루고, 인간 대 기계 성능 및 향후 방향에 대한 논의 포함.

ABSTRACT

Low-resolution face recognition (LRFR) has received increasing attention over the past few years. Its applications lie widely in the real-world environment when high-resolution or high-quality images are hard to capture. One of the biggest demands for LRFR technologies is video surveillance. As the the number of surveillance cameras in the city increases, the videos that captured will need to be processed automatically. However, those videos or images are usually captured with large standoffs, arbitrary illumination condition, and diverse angles of view. Faces in these images are generally small in size. Several studies addressed this problem employed techniques like super resolution, deblurring, or learning a relationship between different resolution domains. In this paper, we provide a comprehensive review of approaches to low-resolution face recognition in the past five years. First, a general problem definition is given. Later, systematically analysis of the works on this topic is presented by catogory. In addition to describing the methods, we also focus on datasets and experiment settings. We further address the related works on unconstrained low-resolution face recognition and compare them with the result that use synthetic low-resolution data. Finally, we summarized the general limitations and speculate a priorities for the future effort.

연구 동기 및 목표

• LQFR 문제와 그 저하 과정 정의.
• 기존 LQFR 접근법을 체계적으로 분류하고 분석.
• LQFR의 데이터셋, 프로토콜, 실험 결과 요약.
• 한계 논의 및 향후 연구를 위한 우선순위 제시.

제안 방법

• 초해상 기반 방법, 저해상도 강인 특징, 통합 표현 학습, 흐림 보완의 네 가지 주요 범주 비교.
• 피처 추출 및 매칭 이전의 이미지 처리 단계(예: SR 및 디블러링) 논의.
• 실제 저해상도 LR 이미지와 합성 다운샘플 LR 이미지의 차이와 FR 성능에 미치는 영향 구분.
• 전통적(딥러닝 이전) 방법과 딥러닝 기반 LQFR 방법 모두 요약.
• 인간 성능 연구를 강조하고 이를 LQFR 작업의 기계 성능과 비교.

실험 결과

연구 질문

• RQ1 저화질 얼굴 이미지를 생성하는 저하 과정은 무엇이며 인식에 어떤 영향을 주는가?
• RQ2 probe와 gallery 이미지의 품질 또는 해상도가 맞지 않을 때 인식을 어떻게 개선할 수 있는가?
• RQ3 LQFR에서 SR, 강인한 특징, 통합 표현의 상대적 장점은 무엇인가?
• RQ4 LQFR 방법을 평가하기 위한 데이터셋과 평가 프로토콜은 무엇이며, 한계점은 무엇인가?

주요 결과

• 초해상 방법은 입력 LR 얼굴이 일정 크기 이상일 때 인식 성능을 향상시킬 수 있지만, 매우 작은 입력은 크게 이익을 주지 못할 수 있다.
• 딥 네트워크와 GAN을 포함한 학습 기반 SR 접근법은 인식을 돕기 위해 얼굴 선행 정보를 보존하거나 강화할 수 있다.
• SR 과정에 인식 목표를 통합한 방법(동시 SR과 인식)은 클래스 간 구분 학습에 가능성을 보인다.
• 실제 LR 이미지는 노이즈, 이상적이지 않은 저하 등 합성 LR 이미지 이상의 추가 도전을 제기하며 SR 기반 이득의 이전 가능성에 영향을 미친다.
• LQFR에서 인간 성능은 해상도 저하 및 미숙합 환경에서 감소하며 고급 기계 시스템과의 격차를 강조하고 인간-컴퓨터 협업의 가능성을 시사한다.
• 다양한 데이터셋과 평가 프로토콜이 존재하지만, 데이터 부족과 품질 차원의 차이가 벤치마킹의 주요 한계로 남아 있다.