[논문 리뷰] Deep Learning-based Face Super-Resolution: A Survey

Junjun Jiang, Chenyang Wang외 2명|arXiv (Cornell University)|2021. 01. 11.

Advanced Image Processing Techniques참고 문헌 254인용 수 5

한 줄 요약

이 종합적 서베이는 신경망 기반 얼굴 초해상도(FSR) 기법을 얼굴 특성(정체성, 특성, 사전 지식 등)에 따라 분류하며, 네트워크 아키텍처, 손실 함수, 기준 데이터셋, 성능 평가 지표를 분석한다. 실제 환경에서의 열악한 환경과 다중 모odal 융합과 같은 과제를 언급하며, FSR 분야의 향후 연구 방향을 규명한다.

ABSTRACT

Face super-resolution (FSR), also known as face hallucination, which is aimed at enhancing the resolution of low-resolution (LR) face images to generate high-resolution (HR) face images, is a domain-specific image super-resolution problem. Recently, FSR has received considerable attention and witnessed dazzling advances with the development of deep learning techniques. To date, few summaries of the studies on the deep learning-based FSR are available. In this survey, we present a comprehensive review of deep learning-based FSR methods in a systematic manner. First, we summarize the problem formulation of FSR and introduce popular assessment metrics and loss functions. Second, we elaborate on the facial characteristics and popular datasets used in FSR. Third, we roughly categorize existing methods according to the utilization of facial characteristics. In each category, we start with a general description of design principles, then present an overview of representative approaches, and then discuss the pros and cons among them. Fourth, we evaluate the performance of some state-of-the-art methods. Fifth, joint FSR and other tasks, and FSR-related applications are roughly introduced. Finally, we envision the prospects of further technological advancement in this field. A curated list of papers and resources to face super-resolution are available at \url{https://github.com/junjun-jiang/Face-Hallucination-Benchmark}

연구 동기 및 목표

• 얼굴 사전 지식이 복원 성능에 어떻게 기여하는지에 중점을 두어 딥 러닝 기반 얼굴 초해상도(FSR) 기법을 체계적으로 검토하는 것.
• 네트워크 아키텍처, 손실 함수, 평가 지표가 FSR 성능에 미치는 영향을 분석하는 것.
• 복잡하고 변동성이 큰 열악한 환경에서의 FSR 과제, 특히 다양한 열악한 환경에서의 성능 저하 문제를 규명하는 것.
• 음성, 깊이 등의 다중 모달 데이터를 FSR에 통합하여 성능 향상을 이끌어내는 방법을 탐색하는 것.
• 열려 있는 문제와 새로운 추세를 규명함으로써 향후 연구를 위한 비전도를 제시하는 것.

제안 방법

• 정체성, 사전 지식 기반, 특성 제약, 정체성 유지, 참조 기반 등 얼굴 특성의 활용 방식에 따라 FSR 기법을 분류하는 것.
• L1, L2, 인지적, 적대적 손실(GAN 기반 등)과 같은 일반적으로 사용되는 손실 함수와 PSNR, SSIM, LPIPS, FID에 미치는 영향을 검토하는 것.
• SwinIR 및 IPT와 같은 백본 네트워크를 분석하여 FSR에서 높은 PSNR 및 SSIM 성능을 달성하는 데 기여하는 역할을 강조하는 것.
• 표준 기준 데이터셋(예: CelebA, FFHQ, CASIA-WebFace)과 PSNR, SSIM, LPIPS, FID 등의 지표를 사용하여 최신 기술 모델을 평가하는 것.
• 실제 이미지에서의 열악한 환경을 학습하기 위해 쌍이 맞지 않는 저해상도(LR) 및 고해상도(HR) 이미지에서 열악한 패턴을 학습하는 실세계 FSR 기법을 논의하는 것.
• 음성, 깊이, 고스펙트럼 데이터를 활용한 다중 모달 FSR을 탐색하여 RGB 이미지 사전 지식을 초월한 복원 향상을 도모하는 것.

실험 결과

연구 질문

• RQ1 정체성, 특성, 특징점 등의 다양한 얼굴 사전 지식이 딥 러닝 기반 FSR 모델의 성능에 어떤 영향을 미치는가?
• RQ2 PSNR/SSIM와 같은 객관적 지표와 LPIPS, FID와 같은 인지적 지표 간의 상호 보완적 특성은 FSR 모델 최적화에 어떻게 영향을 미치는가?
• RQ3 합성 데이터로 훈련된 FSR 모델이 실세계 저해상도 얼굴 이미지에 적용되었을 때 성능 저하가 발생하는 이유는 무엇인가?
• RQ4 음성, 깊이 등의 다중 모달 정보를 효과적으로 FSR에 통합하여 복원 품질을 향상시킬 수 있는 방법은 무엇인가?
• RQ5 실세계 구현을 위한 효율적이고 경량화되며 강건한 FSR 모델 설계에서의 주요 과제는 무엇인가?

주요 결과

• SwinIR 및 IPT와 같은 고급 백본을 사용하는 최신 FSR 모델은 높은 PSNR 및 SSIM 성능를 달성하지만, 데이터셋 및 열악한 환경 유형에 따라 성능의 변동성이 뚜렷하다.
• 인지적 손실 및 적대적 손실(LPIPS, FID 등)은 더 시각적으로 매력적인 결과를 생성하지만, L1/L2 손실은 더 높은 PSNR 및 SSIM를 선호함을 보여, 객관적 품질과 인지적 품질 간의 상충 관계가 존재함을 시사한다.
• 비쿠버틱 열악한 환경에서 훈련된 FSR 모델이 실세계 저해상도 이미지에 적용되었을 때 성능 저하가 심각하게 발생하는 것은 열악한 패턴의 불일치 때문이므로, 이는 주요 과제로 지적된다.
• 쌍이 맞지 않는 저해상도 및 고해상도 이미지에서 실제 이미지의 열악한 패턴을 학습하는 방법은 합성 데이터 훈련 대비 강건성이 향상되지만, 일반적으로 균일한 열악한 환경을 가정하기 때문에 실세계에서는 자주 성립하지 않는다는 점이 문제로 지적된다.
• 음성 및 고스펙트럼 기반의 다중 모달 FSR은 RGB 이미지 사전 지식을 초월한 보완 정보를 활용하여 복원 품질 향상 잠재력을 보이고 있다.
• 통합 평가 지표의 부재는 여전히 주요 과제로 남아 있으며, 객관적 정확성과 인지적 품질을 최적의 균형으로 달성할 수 있는 단일 지표가 존재하지 않는다.