[论文解读] Deep Face Restoration: A Survey

Tao Wang, Kaihao Zhang+4 more|ArXiv.org|Nov 5, 2022

Advanced Image Processing Techniques被引用 16

一句话总结

本综述全面回顾了基于深度学习的人脸复原方法，涵盖去噪、超分辨率、去模糊、伪影去除和盲复原。分析了网络架构、损失函数、人脸先验、基准数据集，并评估了最先进方法，提供了一个开源代码库以支持复现性和人脸复原领域的未来研究。

ABSTRACT

Face Restoration (FR) aims to restore High-Quality (HQ) faces from Low-Quality (LQ) input images, which is a domain-specific image restoration problem in the low-level computer vision area. The early face restoration methods mainly use statistical priors and degradation models, which are difficult to meet the requirements of real-world applications in practice. In recent years, face restoration has witnessed great progress after stepping into the deep learning era. However, there are few works to systematically study the deep learning based face restoration methods. Thus, in this paper, we provide a comprehensive survey of recent advances in deep learning techniques for face restoration. Specifically, we first summarize different problem formulations and analyze the characteristics of face images. Second, we discuss the challenges of face restoration. With regard to these challenges, we present a comprehensive review of recent FR methods, including prior-based methods and deep-learning methods. Then, we explore developed techniques in the task of FR covering network architectures, loss functions, and benchmark datasets. We also conduct a systematic benchmark evaluation on representative methods. Finally, we discuss the future directions including network designs, metrics, benchmark datasets, applications, etc. We also provide an open source repository for all the discussed methods, which is available at https://github.com/TaoWangzj/Awesome-Face-Restoration.

研究动机与目标

• 系统性地回顾基于深度学习的人脸复原技术，涵盖多种退化类型，包括噪声、模糊、低分辨率和压缩伪影。
• 分析最先进人脸复原模型中的关键组件，如网络架构、损失函数、人脸先验和学习策略。
• 在合成数据集和真实世界数据集上评估代表性方法，以评估性能和泛化能力。
• 识别开放性挑战，并提出未来在模型设计、评估指标、基准数据集和真实世界应用方面的研究方向。
• 提供一个公开可访问、经整理的人脸复原方法代码库，以支持复现性和社区发展。

提出的方法

• 本综述根据退化类型，将人脸复原分为五类主要任务：去噪、去模糊、超分辨率、伪影去除和盲复原。
• 回顾基于先验的方法（几何先验、参考图像先验、生成先验）与无先验方法，分析其在建模人脸结构与纹理方面的优势与局限性。
• 评估U-Net、残差网络以及基于Transformer的网络架构，强调其在特征学习和重建保真度方面的作用。
• 考察感知损失、对抗损失以及结合损失函数，以平衡像素级精度与感知质量。
• 在FFHQ等标准数据集和真实世界图像上对方法进行基准测试，突出合成数据与真实世界泛化之间的性能差距。
• 维护一个开源代码库，地址为 https://github.com/TaoWangzj/Awesome-Face-Restoration，用于整理和实现所调研的方法。

实验结果

研究问题

• RQ1 不同的深度学习架构和损失函数如何影响复原人脸图像的质量与真实感？
• RQ2 在合成数据上训练的人脸复原模型在泛化到真实世界、多样化退化模式时面临哪些关键挑战？
• RQ3 人脸先验（几何先验、基于参考图像的先验或生成先验）如何提升复原性能与结构一致性？
• RQ4 当前基准数据集在实现人脸复原模型公平且可靠的评估方面存在哪些局限性？
• RQ5 在视频复原、真实世界部署以及与下游任务集成方面，哪些未来研究方向最具前景？

主要发现

• 基于深度学习的人脸复原方法在视觉质量和结构保真度方面显著优于传统统计方法和基于模型的方法。
• 使用人脸先验（尤其是几何先验和基于参考图像的先验）可使复原图像中的人脸结构更加真实且一致。
• 当前基准数据集通常规模较小且为合成数据，限制了模型在具有复杂、多样化退化的真实场景中的泛化能力。
• 在合成数据上训练的模型与在真实世界人脸图像上测试的模型之间存在显著性能差距，表明存在领域偏移问题。
• 尽管需求不断增长，视频人脸复原仍研究不足，是利用时空一致性的关键未来方向。
• 将人脸复原与下游任务（如人脸识别）集成可带来性能提升，表明端到端框架具有潜在前景。