[论文解读] Generative Adversarial Network-based Synthesis of Visible Faces from Polarimetric Thermal Faces

He Zhang, Vishal M. Patel+2 more|arXiv (Cornell University)|Aug 8, 2017

Face recognition and analysis参考文献 28被引用 34

一句话总结

本文提出一种基于生成对抗网络（GAN）的方法 GAN-VFS，通过联合优化可见光特征提取与图像重建，从偏振热成像中合成逼真的可见光人脸图像。通过引入引导子网络，并结合身份损失与感知损失，该方法在真实偏振-可见光数据集上实现了图像质量与人脸验证准确率的最先进性能。

ABSTRACT

The large domain discrepancy between faces captured in polarimetric (or conventional) thermal and visible domain makes cross-domain face recognition quite a challenging problem for both human-examiners and computer vision algorithms. Previous approaches utilize a two-step procedure (visible feature estimation and visible image reconstruction) to synthesize the visible image given the corresponding polarimetric thermal image. However, these are regarded as two disjoint steps and hence may hinder the performance of visible face reconstruction. We argue that joint optimization would be a better way to reconstruct more photo-realistic images for both computer vision algorithms and human-examiners to examine. To this end, this paper proposes a Generative Adversarial Network-based Visible Face Synthesis (GAN-VFS) method to synthesize more photo-realistic visible face images from their corresponding polarimetric images. To ensure that the encoded visible-features contain more semantically meaningful information in reconstructing the visible face image, a guidance sub-network is involved into the training procedure. To achieve photo realistic property while preserving discriminative characteristics for the reconstructed outputs, an identity loss combined with the perceptual loss are optimized in the framework. Multiple experiments evaluated on different experimental protocols demonstrate that the proposed method achieves state-of-the-art performance.

研究动机与目标

• 为解决偏振热成像与可见光人脸图像之间的巨大域差距，该差距阻碍了跨域人脸识别。
• 克服以往两步法在特征提取与图像重建上分别优化的局限性。
• 提升合成可见光人脸图像的逼真度与判别性质量，以满足人工评估者与计算机视觉系统的需求。
• 开发一种基于生成对抗网络的联合优化框架，以增强重建保真度与语义一致性。

提出的方法

• 该方法采用生成对抗网络（GAN）框架，其中生成器联合优化可见光特征提取与图像重建。
• 引入一个引导子网络，以确保提取的可见光特征包含语义上有意义的信息，从而提升图像合成质量。
• 通过对抗损失、感知损失与身份损失的组合对生成器进行训练，以同时保留逼真感与判别性面部特征。
• 判别器被训练以区分真实可见光图像与生成图像，从而促使生成器产生更逼真的输出。
• 该框架在真实偏振-可见光人脸数据集上端到端训练，实现所有组件的联合优化。
• 在多种评估协议下对方法进行评估，包括 DoG 滤波图像，以检验其鲁棒性与泛化能力。

实验结果

研究问题

• RQ1 与两步法相比，使用 GAN 的联合优化框架是否能提升从偏振热成像合成可见光人脸图像的质量？
• RQ2 引入引导子网络在多大程度上提升了合成可见光人脸图像的语义保真度与逼真度？
• RQ3 将感知损失与身份损失结合，能在多大程度上增强合成图像在人脸验证中的判别能力？
• RQ4 在 DoG 滤波图像等具有挑战性的条件下，所提出方法的性能如何？此类条件模拟了基于边缘的识别任务。
• RQ5 所提出方法是否在图像质量指标与人脸验证准确率两方面均达到最先进性能？

主要发现

• 所提出的 GAN-VFS 方法在 S0-Vis 协议上达到 17.11 dB 的 PSNR，在 Polar-Vis 协议上达到 17.64 dB，显著优于先前方法。
• 在 S0-Vis 上 SSIM 达到 0.5491，在 Polar-Vis 上达到 0.5603，表明与真实图像具有更优的结构相似性。
• 在人脸验证任务中，S0-Vis 上 AUC 为 79.30%，EER 为 27.34%；Polar-Vis 上 AUC 为 79.90%，EER 为 25.17%，表明性能达到最先进水平。
• 消融实验表明，感知损失与身份损失的结合显著提升了图像质量与验证准确率。
• 该方法在所有四个实验协议（包括 DoG 滤波版本）中均优于先前方法，表明对特征提取变化具有强鲁棒性。
• 定性结果表明，合成图像更具逼真感，且在眼睛与面部轮廓等细微特征的保留上，相比基线方法更为准确。