[论文解读] Learning Warped Guidance for Blind Face Restoration

Xiaoming Li, Ming Liu+4 more|arXiv (Cornell University)|Apr 13, 2018

Facial Nerve Paralysis Treatment and Research被引用 9

一句话总结

该论文提出GFRNet，一种通过光流场预测网络（WarpNet）将引导图像配准对齐的引导式人脸恢复网络，以提升盲人脸恢复性能。通过引入关键点损失和总变差正则化，在无真实光流监督下训练WarpNet，GFRNet在合成与真实低质量人脸图像上均取得当前最优性能，生成具有清晰、身份感知细节的逼真结果。

ABSTRACT

This paper studies the problem of blind face restoration from an unconstrained blurry, noisy, low-resolution, or compressed image (i.e., degraded observation). For better recovery of fine facial details, we modify the problem setting by taking both the degraded observation and a high-quality guided image of the same identity as input to our guided face restoration network (GFRNet). However, the degraded observation and guided image generally are different in pose, illumination and expression, thereby making plain CNNs (e.g., U-Net) fail to recover fine and identity-aware facial details. To tackle this issue, our GFRNet model includes both a warping subnetwork (WarpNet) and a reconstruction subnetwork (RecNet). The WarpNet is introduced to predict flow field for warping the guided image to correct pose and expression (i.e., warped guidance), while the RecNet takes the degraded observation and warped guidance as input to produce the restoration result. Due to that the ground-truth flow field is unavailable, landmark loss together with total variation regularization are incorporated to guide the learning of WarpNet. Furthermore, to make the model applicable to blind restoration, our GFRNet is trained on the synthetic data with versatile settings on blur kernel, noise level, downsampling scale factor, and JPEG quality factor. Experiments show that our GFRNet not only performs favorably against the state-of-the-art image and face restoration methods, but also generates visually photo-realistic results on real degraded facial images.

研究动机与目标

• 解决退化类型（模糊、噪声、压缩、低分辨率）未知且未建模的盲人脸恢复挑战。
• 克服标准CNN在引导图像与退化图像在姿态、表情和光照上存在差异时，难以保持身份感知面部细节的局限。
• 构建统一框架，利用高质量引导图像提升恢复质量，同时处理输入与引导图像之间的错位问题。
• 通过引入关键点损失与总变差正则化，实现在无真实光流场监督下端到端训练配准网络。
• 在通用退化模型上进行训练，以确保对真实世界中复杂且未知退化类型的鲁棒性。

提出的方法

• 提出双分支网络：WarpNet预测光流场，将引导图像配准对齐至退化观测图像的姿态与表情。
• 使用重建子网络（RecNet），以退化图像与配准后的引导图像为输入，生成最终的高质量人脸图像。
• 引入关键点损失，通过回归预测的面部关键点位置趋近真实值，实现无需真实光流场监督的WarpNet训练。
• 对预测的光流场应用总变差（TV）正则化，以确保空间平滑性，防止不合理的形变。
• 使用重建损失（L1/L2）与对抗损失联合训练完整GFRNet，以增强感知质量与真实感。
• 利用结合模糊、下采样、加性高斯白噪声（AWGN）与JPEG压缩的通用退化模型，合成多样化训练数据，以模拟真实世界条件。

实验结果

研究问题

• RQ1 当引导图像与退化图像在姿态、表情与光照上存在显著差异时，引导图像输入是否能有效提升盲人脸恢复性能？
• RQ2 在无真实光流场监督下，如何有效训练用于人脸恢复中图像配准的配准网络？
• RQ3 在缺乏真实光流场的情况下，何种监督信号（如关键点损失、TV正则化）最有效于学习准确且平滑的光流场？
• RQ4 与直接融合未对齐的引导图像与退化图像相比，引入配准子网络是否能显著提升恢复质量？
• RQ5 在合成退化数据上训练的模型是否能泛化到真实世界中未见的复杂退化情况？

主要发现

• 完整组件的GFRNet（含WarpNet、光流损失、关键点监督）性能最佳，在PSNR与感知质量上均优于所有变体与SOTA方法。
• 消融研究证实WarpNet与关键点损失均不可或缺：任一移除均导致性能显著下降，尤其在姿态与表情对齐方面。
• Ours(Full)在所有基准测试中均取得最高PSNR与SSIM，包括在VggFace2上的8倍超分辨率，且生成结果更清晰、更逼真。
• 在包含模糊、噪声、下采样与JPEG压缩的完整退化模型上训练的模型，对真实低质量图像泛化能力最佳，输出无伪影且清晰。
• 即使使用随机（错位）引导图像，Ours(R)仍取得第二好性能，表明对身份不匹配具有鲁棒性，但可能引入错误的精细细节。
• 视觉对比显示，Ours(Full)生成的配准引导图像显著优于Ours(-F)，证实光流损失对稳定且准确配准的必要性。