[논문 리뷰] FH-GAN: Face Hallucination and Recognition using Generative Adversarial Network

Bayram Bayramli, Usman Ali외 2명|arXiv (Cornell University)|2019. 05. 16.

Advanced Image Processing Techniques참고 문헌 28인용 수 4

한 줄 요약

이 논문은 저해상도 얼굴 이미지를 동시에 향상시키고 신원 정보를 유지하는 엔드 투 엔드 생성적 적대적 네트워크인 FH-GAN을 제안한다. 신원 손실를 통해 사전 훈련된 얼굴 인식 네트워크를 감독 신호로 통합하고, 새로운 밀도 희소 네트워크(DSNet) 생성자 구조를 도입함으로써, 얼굴 환영 및 인식 모두에서 최신 기술 수준의 성능을 달성한다. LFW에서 99.16%의 정확도와 CFP에서 93.36%의 정확도를 기록하며, 실제 고해상도 결과에 매우 가까운 성능을 보였다.

ABSTRACT

There are many factors affecting visual face recognition, such as low resolution images, aging, illumination and pose variance, etc. One of the most important problem is low resolution face images which can result in bad performance on face recognition. Most of the general face recognition algorithms usually assume a sufficient resolution for the face images. However, in practice many applications often do not have sufficient image resolutions. The modern face hallucination models demonstrate reasonable performance to reconstruct high-resolution images from its corresponding low resolution images. However, they do not consider identity level information during hallucination which directly affects results of the recognition of low resolution faces. To address this issue, we propose a Face Hallucination Generative Adversarial Network (FH-GAN) which improves the quality of low resolution face images and accurately recognize those low quality images. Concretely, we make the following contributions: 1) we propose FH-GAN network, an end-to-end system, that improves both face hallucination and face recognition simultaneously. The novelty of this proposed network depends on incorporating identity information in a GAN-based face hallucination algorithm via combining a face recognition network for identity preserving. 2) We also propose a new face hallucination network, namely Dense Sparse Network (DSNet), which improves upon the state-of-art in face hallucination. 3) We demonstrate benefits of training the face recognition and GAN-based DSNet jointly by reporting good result on face hallucination and recognition.

연구 동기 및 목표

• 저해상도 이미지에서 신원 정보 손실로 인한 낮은 얼굴 인식 성능 문제를 해결한다.
• 기존 초해상도 방법들이 환영 과정에서 신원을 忽시하는 한계를 극복한다.
• 동시에 이미지 품질 향상과 신원 유지 기능을 수행하는 엔드 투 엔드 프레임워크를 개발한다.
• 사전 훈련된 얼굴 인식 모델로부터의 신원 수준 감독을 통합하여 얼굴 환영을 향상시킨다.
• 환영 및 인식 네트워크의 공동 훈련이 별도 훈련보다 뛰어난 성능을 낼 수 있음을 입증한다.

제안 방법

• 특징 흐름 향상과 기울기 소실 감소를 위해 희소하게 집계된 스킵 연결을 사용하는 새로운 생성자 아키텍처인 밀도 희소 네트워크(DSNet)를 제안한다.
• 신원 유지 보장을 위해 신원 손실 함수를 통해 얼굴 인식 네트워크를 감독 신호로 통합한다.
• 훈련 안정성 향상과 이미지 품질 향상을 위해 기울기 보정이 있는 워샤르스테인 GAN(WGAN)을 사용한다.
• 환영 과정을 감독하기 위해 픽셀 수준 손실(L1)과 사전 훈련된 인식 네트워크에서 유도된 특징 수준 손실을 조합한다.
• 전체 시스템을 엔드 투 엔드로 훈련한다: 생성자는 고해상도 얼굴 이미지를 생성하고, 판별자는 진짜 이미지와 환영된 이미지를 구분하며, 인식 네트워크는 신원 피드백을 제공한다.
• 보간 기법에 의한 아티팩트 없이 해상도 향상을 위해 서브픽셀 컨볼루션 레이어를 활용한다.

실험 결과

연구 질문

• RQ1 얼굴 환영과 인식 네트워크의 공동 훈련이 초해상도 얼굴 이미지의 신원 유지에 기여하는가?
• RQ2 사전 훈련된 얼굴 인식 네트워크를 통한 신원 수준 감독이 환영 품질과 인식 정확도에 어떤 영향을 미치는가?
• RQ3 희소하게 집계된 스킵 연결 설계(DSNet)가 얼굴 환영에서 표준 밀도 또는 잔여 연결보다 우수한가?
• RQ4 신원 손실를 갖춘 GAN 기반 환영 기술이 실제 고해상도 얼굴 인식 성능에 얼마나 가까이 도달할 수 있는가?
• RQ5 시각적 손실과 신원 기반 손실가 표준 픽셀 수준 손실보다 얼굴 신원 유지에 더 효과적인가?

주요 결과

• FH-GAN은 LFW 데이터셋에서 99.16%의 얼굴 검증 정확도를 달성하여 SRGAN, RDN, SRDenseNet 등 비교 대상 방법들을 모두 능가한다.
• CFP 데이터셋에서는 93.36%의 정확도를 기록하며, 실제 고해상도 이미지의 95.05% 정확도에 매우 가까운 성능을 보였다.
• 신원 손실의 포함으로 LFW에서 얼굴 인식 정확도가 99.00%에서 99.14%로 향상되어, 신원 유지에 효과적임을 입증했다.
• 시각적 결과에서는 이중선형 보간, SRGAN, RDN 대비 더 선명하고 현실적인 얼굴을 생성하며 아티팩트가 적은 것으로 나타났다.
• PSNR 21.35와 SSIM 0.83의 값은 강력한 정량적 성능을 나타내지만, 시각적 품질은 이 지표가 반영하는 것보다 뛰어나다.
• 실패 사례는 주로 큰 가림이나 다수의 얼굴이 존재할 경우 발생하며, 이 경우 신원은 유지되지만 이미지 품질이 떨어지므로未래 개선 여지가 있음을 시사한다.