[논문 리뷰] Towards Real-World Blind Face Restoration with Generative Facial Prior

Xintao Wang, Yu Li외 2명|arXiv (Cornell University)|2021. 01. 11.

Advanced Image Processing Techniques참고 문헌 74인용 수 25

한 줄 요약

GFP-GAN은 사전 학습된 얼굴 GAN을 생성적 얼굴 프라이어(Generative Facial Prior)로 사용하고, 그 잠재 특징을 CS-SFT 계층을 통해 전달하여 단일 패스의 블라인드 얼굴 복원과 동시 색상 향상을 수행하며, 합성 데이터와 실제 세계 데이터에서 기존 방법들보다 우수하다.

ABSTRACT

Blind face restoration usually relies on facial priors, such as facial geometry prior or reference prior, to restore realistic and faithful details. However, very low-quality inputs cannot offer accurate geometric prior while high-quality references are inaccessible, limiting the applicability in real-world scenarios. In this work, we propose GFP-GAN that leverages rich and diverse priors encapsulated in a pretrained face GAN for blind face restoration. This Generative Facial Prior (GFP) is incorporated into the face restoration process via novel channel-split spatial feature transform layers, which allow our method to achieve a good balance of realness and fidelity. Thanks to the powerful generative facial prior and delicate designs, our GFP-GAN could jointly restore facial details and enhance colors with just a single forward pass, while GAN inversion methods require expensive image-specific optimization at inference. Extensive experiments show that our method achieves superior performance to prior art on both synthetic and real-world datasets.

연구 동기 및 목표

• 실제 세계의 블라인드 얼굴 복원에서 명시적 기하 priors 또는 고품질 참조가 이용 가능하지 않을 때 이를 자극한다.
• 사전 학습된 얼굴 GAN으로부터의 풍부한 priors를 활용하여 얼굴 세부 정보를 함께 복원하고 색상을 향상한다.
• 저하 제거 모듈과 사전 학습된 GAN을 잠재 매핑 및 공간 피처 변환을 통해 통합하는 프레임워크를 개발한다.
• 현실성, 충실도, 정체성 간의 균형을 맞추기 위해 얼굴 구성 요소, 정체성 보존, 재구성 손실 등 손실 항을 도입한다.

제안 방법

• 잠재 매핑을 위한 잠재 특징을 생성하는 U-Net을 통한 저하 제거 및 StyleGAN2로의 잠재 매핑 및 다중 해상 공간 피처를 통한 변조를 위한 잠재 특징 생산.
• 인코딩된 잠재 특징을 StyleGAN2의 중간 잠재 코드(W)로 매핑하여 여러 해상도에서 GAN 특징(F_GAN)을 얻는다.
• 다중 해상도 공간 피처를 이용한 CS-SFT를 통해 GAN 특징 F_GAN을 변조하여 충실도와 현실성의 균형을 맞춘다.
• 사전 학습된 StyleGAN2를 사용하여 다양한 질감, 색상 및 가능한 기하학적 단서를 제공하는 Generative Facial Prior(GFP)을 통합한다.
• 재구성 손실, 적대적 손실, 로컬 판별기가 포함된 얼굴 구성 요소 손실 및 스타일 손실, 정체성 보존 손실(ArcFace)을 조합하여 학습한다.
• 눈, 입 및 기타 얼굴 구성 요소를 강화하기 위해 피라미드 복원 손실 및 ROI 기반 판별기를 활용한다.

실험 결과

연구 질문

• RQ1 사전 학습된 GAN에 내장된 생성적 얼굴 priors가 단일 순전파에서 실제 세계의 저하 얼굴을 텍스처, 색상 및 기하학적 priors로 충분히 제공할 수 있는가?
• RQ2 GAN 특징의 CS-SFT 변조가 입력 공간 정보를 통합하여 복원에서 충실도와 현실성의 균형을 어떻게 달성하는가?
• RQ3 얼굴 구성 요소 판별기 및 특징 스타일 손실이 주요 얼굴 영역의 지각적 품질과 질감 현실성을 개선하는가?
• RQ4 GFP-GAN 프레임워크가 고충실도 얼굴 디테일과 색상 향상을 가능하게 하면서 정체성을 보존하는가?
• RQ5 합성 및 실제 세계의 저하 얼굴에 대한 프레임워크의 성능이 최첨단 복원 방법과 비교하여 어떠한가?

주요 결과

• GFP-GAN은 합성 데이터와 실제 세계 데이터셋에서 더 우수한 지각 품질을 달성하며, 낮은 LPIPS 및 경쟁력 있거나 더 나은 FID/NIQE 및 정체성 보존으로 나타난다.
• CS-SFT 계층은 반복적 GAN 역전 없이 단일 순전파에서 현실성과 충실도 사이의 균형을 잘 달성하게 한다.
• 사전 학습된 GAN의 풍부한 priors에 의해 얼굴의 머리카락, 눈, 이, 전반적인 얼굴 세부 묘사에서 색상 향상과 함께 복원과 색상 향상이 함께 가능하다.
• 다중 해상도 공간 변조, GFP priors, 피라미드 복원 손실, 얼굴 구성 요소 손실의 중요성을 입증하는 소거 연구가 성능 향상에 기여한다.
• 실제 세계 데이터셋(LFW, CelebChild, WebPhoto)에서 GFP-GAN이 FID 및 NIQE에서 여러 베이스라인에 비해 우수한 결과를 보인다.