[论文解读] FH-GAN: Face Hallucination and Recognition using Generative Adversarial Network

Bayram Bayramli, Usman Ali+2 more|arXiv (Cornell University)|May 16, 2019

Advanced Image Processing Techniques参考文献 28被引用 4

一句话总结

本文提出FH-GAN，一种端到端生成对抗网络，可联合增强低分辨率人脸图像并保留身份信息，从而提升人脸识别性能。通过将人脸识别网络作为监督信号，引入身份损失，并采用新型的密集稀疏网络（DSNet）生成器，FH-GAN在人脸幻化与识别任务中均达到最先进性能，在LFW数据集上达到99.16%的准确率，在CFP数据集上达到93.36%，非常接近真实高分辨率结果。

ABSTRACT

There are many factors affecting visual face recognition, such as low resolution images, aging, illumination and pose variance, etc. One of the most important problem is low resolution face images which can result in bad performance on face recognition. Most of the general face recognition algorithms usually assume a sufficient resolution for the face images. However, in practice many applications often do not have sufficient image resolutions. The modern face hallucination models demonstrate reasonable performance to reconstruct high-resolution images from its corresponding low resolution images. However, they do not consider identity level information during hallucination which directly affects results of the recognition of low resolution faces. To address this issue, we propose a Face Hallucination Generative Adversarial Network (FH-GAN) which improves the quality of low resolution face images and accurately recognize those low quality images. Concretely, we make the following contributions: 1) we propose FH-GAN network, an end-to-end system, that improves both face hallucination and face recognition simultaneously. The novelty of this proposed network depends on incorporating identity information in a GAN-based face hallucination algorithm via combining a face recognition network for identity preserving. 2) We also propose a new face hallucination network, namely Dense Sparse Network (DSNet), which improves upon the state-of-art in face hallucination. 3) We demonstrate benefits of training the face recognition and GAN-based DSNet jointly by reporting good result on face hallucination and recognition.

研究动机与目标

• 解决因身份信息丢失导致的低分辨率图像人脸识别性能差的问题。
• 克服现有超分辨率方法在幻化过程中忽略身份信息的局限性。
• 开发一种端到端框架，同时提升图像质量并保留身份信息以用于识别。
• 通过预训练人脸识别模型提供身份级监督，改进人脸幻化效果。
• 证明联合训练幻化与识别网络相比独立训练可获得更优结果。

提出的方法

• 提出一种新型生成器架构——密集稀疏网络（DSNet），利用稀疏聚合跳跃连接改善特征流动并减少梯度消失。
• 将人脸识别网络作为监督信号，通过身份损失函数在幻化过程中强制保留身份信息。
• 采用带梯度惩罚（GP）的Wasserstein GAN（WGAN）以稳定训练并提升图像质量。
• 结合像素级损失（L1）与特征级损失（来自预训练识别网络）以监督幻化过程。
• 端到端训练整个系统：生成器生成高分辨率人脸图像，判别器区分真实图像与幻化图像，识别网络提供身份反馈。
• 利用子像素卷积层实现高效上采样，避免插值伪影。

实验结果

研究问题

• RQ1 联合训练人脸幻化与识别网络是否能提升超分辨人脸中的身份保留能力？
• RQ2 通过人脸识别网络引入身份级监督，对幻化质量与识别准确率有何影响？
• RQ3 稀疏聚合跳跃连接设计（DSNet）在人脸幻化中是否优于标准的密集连接或残差连接？
• RQ4 基于GAN的幻化结合身份损失，能在多大程度上匹配真实高分辨率人脸识别性能？
• RQ5 感知损失与基于身份的损失相比标准像素级损失，在超分辨率过程中对保留面部身份有何优势？

主要发现

• FH-GAN在LFW数据集上实现99.16%的人脸验证准确率，优于所有对比方法，包括SRGAN、RDN和SRDenseNet。
• 在CFP数据集上，FH-GAN达到93.36%的准确率，接近真实高分辨率图像的95.05%准确率。
• 引入身份损失后，LFW数据集上的人脸识别准确率从99.00%提升至99.14%，证明其在保留身份方面的有效性。
• 视觉结果表明，与双线性插值、SRGAN和RDN相比，FH-GAN生成的图像更清晰、更逼真，伪影更少。
• PSNR和SSIM值分别为21.35和0.83，表明定量性能较强，但视觉质量优于这些指标所反映的结果。
• 失败案例主要出现在大范围遮挡或多张人脸场景下，此时身份虽被保留但图像质量下降，表明未来仍有改进空间。