[论文解读] Deep Learning-based Face Super-Resolution: A Survey

Junjun Jiang, Chenyang Wang+2 more|arXiv (Cornell University)|Jan 11, 2021

Advanced Image Processing Techniques参考文献 254被引用 5

一句话总结

本综述系统性地回顾了基于深度学习的人脸超分辨率（FSR）方法，按人脸特征（如身份、属性和先验知识）进行分类。分析了网络架构、损失函数、基准数据集和性能指标，指出了真实世界退化和多模态融合等挑战，并提出了FSR未来的研究方向。

ABSTRACT

Face super-resolution (FSR), also known as face hallucination, which is aimed at enhancing the resolution of low-resolution (LR) face images to generate high-resolution (HR) face images, is a domain-specific image super-resolution problem. Recently, FSR has received considerable attention and witnessed dazzling advances with the development of deep learning techniques. To date, few summaries of the studies on the deep learning-based FSR are available. In this survey, we present a comprehensive review of deep learning-based FSR methods in a systematic manner. First, we summarize the problem formulation of FSR and introduce popular assessment metrics and loss functions. Second, we elaborate on the facial characteristics and popular datasets used in FSR. Third, we roughly categorize existing methods according to the utilization of facial characteristics. In each category, we start with a general description of design principles, then present an overview of representative approaches, and then discuss the pros and cons among them. Fourth, we evaluate the performance of some state-of-the-art methods. Fifth, joint FSR and other tasks, and FSR-related applications are roughly introduced. Finally, we envision the prospects of further technological advancement in this field. A curated list of papers and resources to face super-resolution are available at \url{https://github.com/junjun-jiang/Face-Hallucination-Benchmark}

研究动机与目标

• 系统性回顾基于深度学习的人脸超分辨率（FSR）方法，重点关注人脸先验如何提升重建质量。
• 分析网络架构、损失函数和评估指标对FSR性能的影响。
• 识别真实世界FSR中的关键挑战，包括复杂且多变的退化过程。
• 探索将多模态数据（如音频、深度）整合到FSR中的方法及其在提升性能方面的潜力。
• 通过识别FSR中的开放问题和新兴趋势，为未来研究提供路线图。

提出的方法

• 根据人脸特征的利用方式对FSR方法进行分类：通用型、先验引导型、属性约束型、身份保持型和参考图像型方法。
• 回顾常用的损失函数，如L1、L2、感知损失和对抗损失（例如基于GAN的方法），及其对PSNR、SSIM、LPIPS和FID的影响。
• 分析主干网络（如SwinIR和IPT），强调其在FSR中实现高PSNR和SSIM的作用。
• 使用标准基准数据集（如CelebA、FFHQ、CASIA-WebFace）和评估指标（包括PSNR、SSIM、LPIPS和FID）评估最先进模型。
• 讨论从成对真实低分辨率（LR）和高分辨率（HR）图像中学习退化模式的真实世界FSR技术，以提升泛化能力。
• 探索利用音频、深度和高光谱数据等多模态信息的FSR，以超越RGB图像先验，提升重建质量。

实验结果

研究问题

• RQ1 不同的人脸先验（如身份、属性、关键点）如何影响基于深度学习的FSR模型性能？
• RQ2 在引导FSR模型优化时，PSNR/SSIM等客观指标与感知指标（如LPIPS、FID）之间的权衡是什么？
• RQ3 为何在合成数据上训练的FSR模型在真实世界低分辨率人脸图像上性能会下降？
• RQ4 如何有效整合多模态信息（如音频、深度）以提升FSR的重建质量？
• RQ5 在设计适用于真实世界部署的高效、轻量化且鲁棒的FSR模型时，关键挑战是什么？

主要发现

• 采用SwinIR和IPT等先进主干网络的最先进FSR模型可实现高PSNR和SSIM，但其性能在不同数据集和退化类型间差异显著。
• 感知损失和对抗损失（如LPIPS、FID）可生成更具视觉吸引力的结果，而L1/L2损失则更有利于提升PSNR和SSIM，表明客观质量与感知质量之间存在权衡。
• 当在双三次插值退化上训练的FSR模型应用于真实世界低分辨率图像时，性能显著下降，原因在于退化模式不匹配。
• 从无配对的低分辨率和高分辨率真实图像中学习真实图像退化模式的方法，相比合成数据训练更具鲁棒性，但仍假设退化均匀，而这一假设在实际中往往不成立。
• 多模态FSR（包括音频和高光谱引导的方法）通过利用RGB之外的互补信息，在提升重建质量方面展现出潜力。
• 缺乏统一的评估指标仍是关键挑战，因为尚无单一指标能最优平衡FSR中的客观保真度与感知质量。