[论文解读] Progressive Face Super-Resolution via Attention to Facial Landmark
引入一个渐进式训练框架，用于8x人脸超分辨率，结合面部地标注意力和蒸馏的FAN，以提升感知和结构保真度。
Face Super-Resolution (SR) is a subfield of the SR domain that specifically targets the reconstruction of face images. The main challenge of face SR is to restore essential facial features without distortion. We propose a novel face SR method that generates photo-realistic 8x super-resolved face images with fully retained facial details. To that end, we adopt a progressive training method, which allows stable training by splitting the network into successive steps, each producing output with a progressively higher resolution. We also propose a novel facial attention loss and apply it at each step to focus on restoring facial attributes in greater details by multiplying the pixel difference and heatmap values. Lastly, we propose a compressed version of the state-of-the-art face alignment network (FAN) for landmark heatmap extraction. With the proposed FAN, we can extract the heatmaps suitable for face SR and also reduce the overall training time. Experimental results verify that our method outperforms state-of-the-art methods in both qualitative and quantitative measurements, especially in perceptual quality.
研究动机与目标
- 激发高保真人脸SR，在不依赖外部先验的情况下保留面部特征。
- 开发一个稳定的渐进式训练方案，在各步骤中逐步扩展生成器和判别器。
- 引入面部注意力损失，以强调面部地标附近的细节。
- 蒸馏一个轻量级的FAN，以生成用于SR的有效地标热力图。
- 证明该方法在感知质量和效率方面优于最先进方法。
提出的方法
- 使用一个三步渐进式SR网络，分别以2x、2x、2x的放大因子（总计8x）进行上采样，具备逐步融合和线性递增的alpha权重。
- 提出一个面部注意力损失，将像素级误差乘以地标热力图值，以聚焦地标周围的修复。
- 通过基于提示的训练蒸馏一个紧凑的FAN，生成面向SR的地标热力图，具有可比的准确性。
- 在后续步骤中结合像素损失、感知损失和WGAN-GP损失，并加入热力图和注意力损失进行训练。
- 使用蒸馏后的FAN热力图作为注意力权重来引导SR，而无需过多的先验信息。
实验结果
研究问题
- RQ1渐进式训练能否在8x人脸SR中提升稳定性和质量？
- RQ2引入面部地标聚焦的注意力是否有助于在关键区域保留面部属性？
- RQ3蒸馏的FAN是否足以为SR任务提供有效的地标热力图？
- RQ4感知、对抗、热力图和注意力损失如何交互以提升SR结果？
主要发现
- 该方法实现了具有保留面部细节和更高感知质量的8x照片级真实感SR。
- 蒸馏的FAN提供了与原始FAN相当的地标热力图，但参数数量大幅更少。
- 面部注意力损失在与消融实验相比时提升了PSNR、SSIM和MS-SSIM。
- 渐进式训练在保留面部细节方面优于非渐进训练。
- MOS测试表明在感知方面优于竞争方法。
更好的研究，从现在开始
从论文设计到论文写作，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。