[论文解读] Progressive Semantic-Aware Style Transformation for Blind Face Restoration

Chaofeng Chen, Xiaoming Li+4 more|arXiv (Cornell University)|Sep 18, 2020

Advanced Image Processing Techniques参考文献 46被引用 14

一句话总结

该论文提出PSFR-GAN，一种用于盲脸修复的渐进式语义感知风格转换框架，通过利用多尺度低质量（LQ）图像和语义分割图，以粗到精的方式恢复高质量（HQ）人脸。通过整合语义感知风格损失与预训练的人脸分割网络，该方法在真实世界LQ图像上实现了最先进（SOTA）的泛化性能，在细节恢复和伪影减少方面优于先前方法。

ABSTRACT

Face restoration is important in face image processing, and has been widely studied in recent years. However, previous works often fail to generate plausible high quality (HQ) results for real-world low quality (LQ) face images. In this paper, we propose a new progressive semantic-aware style transformation framework, named PSFR-GAN, for face restoration. Specifically, instead of using an encoder-decoder framework as previous methods, we formulate the restoration of LQ face images as a multi-scale progressive restoration procedure through semantic-aware style transformation. Given a pair of LQ face image and its corresponding parsing map, we first generate a multi-scale pyramid of the inputs, and then progressively modulate different scale features from coarse-to-fine in a semantic-aware style transfer way. Compared with previous networks, the proposed PSFR-GAN makes full use of the semantic (parsing maps) and pixel (LQ images) space information from different scales of input pairs. In addition, we further introduce a semantic aware style loss which calculates the feature style loss for each semantic region individually to improve the details of face textures. Finally, we pretrain a face parsing network which can generate decent parsing maps from real-world LQ face images. Experiment results show that our model trained with synthetic data can not only produce more realistic high-resolution results for synthetic LQ inputs and but also generalize better to natural LQ face images compared with state-of-the-art methods. Codes are available at https://github.com/chaofengc/PSFRGAN.

研究动机与目标

• 为解决在退化类型未知且多样的真实世界场景中进行盲脸修复的挑战。
• 通过在多尺度上融合语义（分割图）和像素级（LQ图像）信息，提升从低质量输入生成高质量人脸的能力。
• 开发一种实用框架，能够在无需高质量参考图像的情况下，对自然真实世界LQ人脸图像实现良好泛化。
• 通过新型损失函数减少伪影并增强修复人脸区域的纹理真实感。

提出的方法

• 该框架采用渐进式多尺度架构，从学习到的常量潜在代码开始，通过逐层上采样特征。
• 在每个尺度上应用语义感知风格调制，其中风格向量由多尺度LQ图像和分割图生成，用于条件化特征优化。
• 语义感知风格损失独立计算每个面部语义区域的Gram矩阵损失，从而提升纹理真实感并减少伪影。
• 模型在合成数据上进行训练，由于使用了预训练的人脸分割网络（FPN），在真实世界LQ图像上表现出良好的泛化能力。
• FPN在真实LQ人脸图像上进行训练以预测分割图，从而在推理阶段仅需LQ输入即可实现端到端推理。
• 整体框架结合渐进式特征调制与区域特定风格损失，以增强结构一致性和纹理保真度。

实验结果

研究问题

• RQ1 渐进式多尺度风格转换框架是否能在盲脸修复方面超越端到端编码器-解码器模型？
• RQ2 将分割图作为语义引导，对修复人脸图像的质量和真实感有何影响？
• RQ3 区域级语义感知风格损失在多大程度上能提升不同面部区域的纹理细节并减少伪影？
• RQ4 在无高质量参考图像的情况下，仅在合成数据上训练的模型是否能有效泛化到真实世界低质量人脸图像？

主要发现

• 在PSFR-RealTest基准上，PSFR-GAN的Fréchet Inception Distance（FID）达到30.39，优于基线模型（FID 47.48）及其他变体。
• 消融研究证实，结合分割图引导与语义感知风格损失可获得最佳性能，相比基线FID降低17.11点。
• 视觉结果表明，缺少分割图的模型在LQ输入边缘模糊时无法重建清晰的面部轮廓。
• 缺少语义感知风格损失的模型在眼部区域产生明显伪影，而PSFR-GAN能有效抑制此类失真。
• 该框架在放大倍数高达×16时仍保持稳健泛化，即使在高退化水平下也能生成视觉上合理的结果。
• 预训练的人脸分割网络（FPN）在真实世界LQ图像上表现出强鲁棒性，使仅需LQ输入即可实现实际部署。