[论文解读] High-Quality Face Image SR Using Conditional Generative Adversarial Networks

Bin Huang, Weihai Chen+2 more|arXiv (Cornell University)|Jul 4, 2017

Advanced Image Processing Techniques参考文献 24被引用 22

一句话总结

该论文提出了一种面向人脸的条件生成对抗网络（FCGAN），这是一种端到端框架，通过边界均衡生成对抗网络（BEGAN）从低分辨率输入生成高分辨率（4倍）人脸图像。通过将生成器条件化于低分辨率图像而非随机噪声，并采用L1损失和跳跃连接，FCGAN在无需人脸先验或预处理的情况下，实现了最先进的PSNR（32.42）和优越的视觉质量。

ABSTRACT

We propose a novel single face image super-resolution method, which named Face Conditional Generative Adversarial Network(FCGAN), based on boundary equilibrium generative adversarial networks. Without taking any facial prior information, our method can generate a high-resolution face image from a low-resolution one. Compared with existing studies, both our training and testing phases are end-to-end pipeline with little pre/post-processing. To enhance the convergence speed and strengthen feature propagation, skip-layer connection is further employed in the generative and discriminative networks. Extensive experiments demonstrate that our model achieves competitive performance compared with state-of-the-art models.

研究动机与目标

• 开发一种无需依赖人脸先验（如关键点或对齐信息）的单张人脸图像端到端超分辨率方法。
• 通过将生成过程条件化于低分辨率输入图像而非随机噪声，将边界均衡生成对抗网络（BEGAN）框架适配于人脸图像超分辨率任务。
• 通过在生成器和判别器网络中引入跳跃层连接，提升训练收敛速度并增强特征传播。
• 在CelebA数据集上实现高视觉质量与具有竞争力的定量性能（PSNR），且无需预处理或后处理步骤。

提出的方法

• 生成器网络以低分辨率人脸图像（$32\times32$）为输入，利用类似U-Net的架构与跳跃连接，生成高分辨率输出（$128\times128$）。
• 判别器网络被训练以区分真实高分辨率图像与基于相同低分辨率输入生成的高分辨率图像。
• 模型采用条件生成对抗网络损失，并结合像素级$L_1$重建损失，以稳定训练过程并提升感知质量。
• 训练目标结合标准生成对抗网络损失与梯度惩罚项，以确保生成器与判别器之间的平衡，遵循BEGAN框架的设计原则。
• 在生成器和判别器中均应用跳跃连接，以增强特征传播并加速收敛。
• 该框架使用CelebA数据集进行端到端训练，输入-输出对通过双三次下采样与插值生成。

实验结果

研究问题

• RQ1 基于BEGAN的条件生成对抗网络能否在不依赖人脸先验的情况下，从低分辨率输入生成高质量人脸图像？
• RQ2 与使用随机噪声作为条件相比，将生成器条件化于低分辨率图像对生成的高分辨率人脸图像的质量与保真度有何影响？
• RQ3 跳跃连接与$L_1$损失在人脸超分辨率任务中在多大程度上提升了收敛速度与视觉质量？
• RQ4 在定量指标（PSNR）与定性图像质量方面，FCGAN相较于最先进方法表现如何？
• RQ5 该模型在姿态、表情、光照与遮挡等变化下是否具备鲁棒泛化能力，且无需对齐或预处理？

主要发现

• FCGAN在CelebA数据集上实现了32.42的PSNR，优于最先进方法（如LapSRN的32.13和FSRCNN的31.92）。
• 视觉对比显示，FCGAN生成的面部细节更清晰，纹理更逼真，优于双三次插值、pix2pix及其他SOTA模型。
• 该模型在不同姿态、表情、光照条件及遮挡（如眼镜或帽子）下，均能一致生成高质量的高分辨率人脸图像。
• 与缺乏残差连接的深层CNN相比，跳跃连接显著提升了训练收敛速度与稳定性。
• 无需预处理步骤（如人脸对齐或关键点检测）并未降低性能，证明了条件生成对抗网络方法的鲁棒性。
• 该模型为全端到端设计，无需外部先验或后处理，仅通过一次前向传播即可直接从低分辨率输入生成高分辨率图像。