[논문 리뷰] SuperFront: From Low-resolution to High-resolution Frontal Face Synthesis

Yu Yin, Joseph P. Robinson외 4명|arXiv (Cornell University)|2020. 12. 07.

Face recognition and analysis참고 문헌 40인용 수 4

한 줄 요약

SuperFront는 초해상도 및 정체성 유지 기능을 갖춘 GAN 기반 모델(SF-GAN)을 제안하며, 저해상도이자 극단적인 자세를 가진 얼굴 이미지에서 고해상도의 정면 얼굴을 합성한다. 이는 초해상도 측면 뷰 모듈과 피처 수준 손실을 통합하여 고주파 수준의 세부 정보와 구조적 정확도를 향상시킨다. 독특하게도 정규화된 직교 기반의 단일에서 다수의 입력 융합을 지원하며, 정체성 유지 및 이미지 품질 측면에서 최신 기술을 초월한다.

ABSTRACT

Advances in face rotation, along with other face-based generative tasks, are more frequent as we advance further in topics of deep learning. Even as impressive milestones are achieved in synthesizing faces, the importance of preserving identity is needed in practice and should not be overlooked. Also, the difficulty should not be more for data with obscured faces, heavier poses, and lower quality. Existing methods tend to focus on samples with variation in pose, but with the assumption data is high in quality. We propose a generative adversarial network (GAN) -based model to generate high-quality, identity preserving frontal faces from one or multiple low-resolution (LR) faces with extreme poses. Specifically, we propose SuperFront-GAN (SF-GAN) to synthesize a high-resolution (HR), frontal face from one-to-many LR faces with various poses and with the identity-preserved. We integrate a super-resolution (SR) side-view module into SF-GAN to preserve identity information and fine details of the side-views in HR space, which helps model reconstruct high-frequency information of faces (i.e., periocular, nose, and mouth regions). Moreover, SF-GAN accepts multiple LR faces as input, and improves each added sample. We squeeze additional gain in performance with an orthogonal constraint in the generator to penalize redundant latent representations and, hence, diversify the learned features space. Quantitative and qualitative results demonstrate the superiority of SF-GAN over others.

연구 동기 및 목표

• 기존 방법들이 낮은 품질과 큰 자세 변화로 인해 저해상도 및 극단적 자세를 가진 얼굴 이미지에서 고해상도의 정면 얼굴을 생성하는 데 실패하는 문제를 해결하기 위해, 저해상도 및 극단적 자세를 가진 얼굴 이미지에서 고해상도의 정체성 유지 정면 얼굴을 생성하는 데 초점을 맞춘다.
• 측면 뷰 브랜치에서 정체성과 세밀한 얼굴 세부 정보를 유지하는 초해상도 모듈을 통합하여, 동시에 얼굴 초해상도 및 대규모 자세 정면화 문제를 해결한다.
• 구조 유사성과 가장자리, 형태 정보를 캡처하는 데 도움이 되는 피처 수준 손실을 도입하여 얼굴의 구조 정확도와 정체성 유지 수준을 향상시킨다.
• 다양한 자세를 가진 다수의 저해상도 입력으로부터 강력한 합성을 가능하게 하기 위해, 직교 정규화를 적용한 다중 이미지 융합 메커니즘을 설계하여 특징의 중복을 줄인다.
• 픽셀, 정체성, 적대적, 구조적 손실을 조합하여 정체성 인식 및 이미지 품질 지표에서 최신 기술 수준의 성능을 달성한다.

제안 방법

• SF-GAN은 하나 이상의 저해상도 측면 뷰 얼굴을 처리하고 고해상도 정면 얼굴을 출력하는 조건부 GAN 프레임워크를 사용한다.
• 주 생성자와 병렬로 초해상도(SR) 측면 뷰 모듈을 통합하여, 눈 주변 영역, 코, 입 등의 고주파 세부 정보를 유지함으로써 정체성 유지 수준을 향상시킨다.
• SSIM 기반 피처 수준 손실을 도입하여 구조 일관성을 향상시키고, 측면 뷰에서 정면 뷰로의 정확한 비선형 변환을 학습하도록 유도한다.
• 공유 생성자에 의해 다수의 저해상도 이미지를 융합하는 방식으로 단일에서 다수의 입력을 지원하며, 잠재 공간에 직교 정규화를 적용하여 중복 표현을 억제하고 특징의 다양성을 증가시킨다.
• 손실 함수는 L1 픽셀 손실, 정체성 손실(L_ID), 적대적 손실(L_Adv), SSIM 기반 피처 수준 손실을 조합하여 정확도, 정체성 유지, 구조적 현실감을 균형 있게 유지한다.
• 다중 이미지 융합은 직교 제약 조건을 갖춘 특징 수준의 연결을 통해 구현되며, 이미지 수준 융합 및 단순 특징 덧셈보다 우수한 성능을 보인다.

실험 결과

연구 질문

• RQ1 GAN 기반 모델이 저해상도 얼굴 초해상도 및 대규모 자세 정면화 문제를 동시에 해결하여 정체성 유지 및 고주파 얼굴 세부 정보를 유지할 수 있는가?
• RQ2 측면 뷰 브랜치에 초해상도 모듈을 통합함으로써 정체성 유지 및 정면 얼굴 합성의 이미지 품질은 어떻게 향상되는가?
• RQ3 표준 픽셀 수준 손실에 비해 SSIM 기반 피처 수준 손실이 구조적 정확도 향상에 얼마나 기여하는가?
• RQ4 다양한 자세를 가진 다중 이미지 입력은 합성된 정면 얼굴의 품질과 정체성 유지 수준에 어떤 영향을 미치는가?
• RQ5 다중 이미지 생성자에서 잠재 공간에 직교 정규화를 적용하면 특징의 다양성이 증가하고 중복이 감소하여 더 나은 합성 성능을 이끌어내는가?

주요 결과

• LFW-HPEN 벤치마크에서 SF-GAN은 랭크-1 정확도 99.48%와 AUC 99.96%를 기록하여 기존 최신 기술을 능가한다.
• 다중 이미지 입력을 사용할 경우, MultiPIE 데이터셋에서 랭크-1 정확도 98.43%를 달성하여 단일 이미지 기반 베이스라인 및 제약 조건이 없는 특징 수준 융합보다 뚜렷한 향상이 있었다.
• 제거 실험 결과, 초해상도 측면 뷰 모듈을 제거하면 랭크-1 정확도가 84.99%로 떨어지며, 이는 정체성과 세부 정보 유지에 이 모듈이 핵심적인 역할을 한다는 것을 확인한다.
• 피처 수준 손실(SSIM)을 제거할 경우 랭크-1 정확도가 91.16%로 떨어지며, 모든 손실이 포함된 경우 92.81%에 비해 낮은 성능을 보여, 이 손실이 구조적 정확도 향상에 기여함을 입증한다.
• 다중 이미지 융합에서 잠재 공간에 직교 정규화를 적용함으로써 랭크-1 정확도가 97.68%에서 98.43%로 향상되었으며, 이는 특징 중복 감소에 효과적임을 보여준다.
• 다중 이미지 입력 시, PSNR(24.43 dB)와 SSIM(0.762) 수치가 높게 유지되어 우수한 이미지 품질과 구조 일관성을 확보함을 시사한다.