[논문 리뷰] Verification of Very Low-Resolution Faces Using An Identity-Preserving Deep Face Super-Resolution Network

Esra Ataer Cansizoglu, M. G. K. Jones외 2명|arXiv (Cornell University)|2019. 03. 26.

Advanced Image Processing Techniques참고 문헌 36인용 수 13

한 줄 요약

이 논문은 매우 낮은 해상도의 얼굴 이미지(최소 6×6 픽셀)를 초해상화하여 얼굴 인식 성능을 향상시키는 신원 유지형 딥 얼굴 초해상화 네트워크를 제안한다. 사전 훈련된 VGG 얼굴 기술자(descriptor)를 사용하여 초해상화된 이미지와 고해상도 정답 이미지 간의 특징 거리(feature distance)를 최소화하도록 초해상화 네트워크를 훈련시킴으로써, 기존의 초해상화 기법들에 비해 특히 8배의 극한 확대 비율에서 뛰어난 인식 정확도를 달성한다.

ABSTRACT

Face super-resolution methods usually aim at producing visually appealing results rather than preserving distinctive features for further face identification. In this work, we propose a deep learning method for face verification on very low-resolution face images that involves identity-preserving face super-resolution. Our framework includes a super-resolution network and a feature extraction network. We train a VGG-based deep face recognition network (Parkhi et al. 2015) to be used as feature extractor. Our super-resolution network is trained to minimize the feature distance between the high resolution ground truth image and the super-resolved image, where features are extracted using our pre-trained feature extraction network. We carry out experiments on FRGC, Multi-PIE, LFW-a, and MegaFace datasets to evaluate our method in controlled and uncontrolled settings. The results show that the presented method outperforms conventional super-resolution methods in low-resolution face verification.

연구 동기 및 목표

• 기존의 인식 방법이 세부 정보가 부족하여 실패하는 매우 낮은 해상도의 이미지에서 얼굴 인식 문제를 해결하기 위함.
• 초해상화를 통해 저해상도 얼굴 이미지를 향상시킴으로써 얼굴 인식 성능을 향상시키며, 시각적 품질에만 의존하지 않기 위함.
• 초해상화 프레임워크를 개발하여 외관에 최적화된 것이 아니라, 식별 가능한 신원 특징을 유지하는 데 중점을 두기 위함.
• 저해상도 얼굴 인식에서 전통적인 픽셀 공간 손실 대비 특징 공간 손실의 효과를 평가하기 위함.

제안 방법

• 사전 훈련된 VGG 기반의 딥 얼굴 인식 네트워크를 사용하여 고정된 특징 추출기로 활용하여 얼굴 기술자를 계산한다.
• 초해상화 네트워크를 훈련시어 초해상화된 이미지의 얼굴 기술자와 고해상도 정답 이미지의 얼굴 기술자 간의 L2 거리를 최소화하도록 한다.
• 손실 함수는 픽셀 공간이 아닌 특징 공간에서 정의되며, 이는 신원 인식에 민감하고 인식 성능 최적화를 위한 것이다.
• 특징 추출기와 초해상화 생성기 간의 순차적 훈련 전략을 사용하며, 엔드 투 엔드 훈련이 아닌 교차 훈련 방식을 채택한다.
• 통제된 조건과 비통제된 조건에서 다양한 데이터셋(FRGC, Multi-PIE, LFW-a, MegaFace)을 사용하여 프레임워크를 평가한다.
• 픽셀 수준의 재구성 또는 SSIM에 최적화하는 것보다 특징 유사성에 우선순위를 두어, 외관에 대한 과적합을 의도적으로 방지한다.

실험 결과

연구 질문

• RQ1 저해상도 입력과 고해상도 정답 간의 특징 공간 거리 최소화를 목표로 훈련된 초해상화 네트워크가 기존의 초해상화 기법에 비해 얼굴 인식 정확도를 향상시키는가?
• RQ2 VGG 기반 얼굴 기술자를 감독 신호로 사용할 경우, 저해상도 얼굴 인식을 위한 초해상화에서 신원 유지에 어떤 영향을 미치는가?
• RQ3 재구성 손실, SSIM 손실, 인식 손실, 통합 손실 등 다양한 손실 함수가 인식 성능 향상에 기여하는 비율은 어떻게 되는가?
• RQ4 극도로 해상도가 떨어지는 상황에서, 제안된 방법이 비통제된, 실외 환경에서도 기존의 초해상화 기법을 능가하는가?
• RQ5 초해상화된 이미지에서 조명 잡음(artifacts)을 제거할 경우, 얼굴 인식 정확도 향상에 어느 정도 기여하는가?

주요 결과

• 제안된 방법은 FRGC, Multi-PIE, LFW-a, MegaFace 데이터셋에서 기존의 초해상화 기법들(bicubic, SRCNN, VDSR, MZQ, URDGN)에 비해 얼굴 인식 정확도에서 뚜렷한 우월성을 보였다.
• 재구성 손실이나 SSIM 손실을 사용하는 것보다 인식 기반 손실만을 사용하는 초해상화도, 비록 시각적 품질은 떨어지더라도 더 나은 인식 성능을 달성한다.
• 이 방법은 초해상화된 이미지에서 조명 잡음을 효과적으로 줄여, 비통제된 환경에서의 인식 정확도 향상에 기여한다.
• 특징 공간 손실을 사용할 경우, 신원 인식에 핵심적인 요소인 눈과 코와 같은 주요 얼굴 특징이 잘 유지됨을 확인할 수 있었다.
• 8배 확대 비율에서 저해상도 얼굴 인식 분야에서 최고 성능을 기록하며, 신원 인식에 민감한 초해상화의 효과성을 입증하였다.
• 시각적 품질 평가 지표인 PSNR는 인식 성능의 우수한 지표가 되지 못하며, 특징 공간 유사도가 더 관련성이 높은 평가 기준임을 실험 결과로 확인하였다.