[论文解读] TV-GAN: Generative Adversarial Network Based Thermal to Visible Face Recognition

Teng Zhang, Arnold Wiliem+2 more|arXiv (Cornell University)|Dec 7, 2017

Face recognition and analysis参考文献 29被引用 7

一句话总结

本文提出TV-GAN，一种生成对抗网络，可将热成像人脸图像翻译为类似可见光图像的形态，同时保留身份信息，从而实现对预训练可见光人脸识别模型的直接使用。通过在判别器中集成闭集人脸识别损失，TV-GAN在基线GAN的基础上显著提升了身份保留能力，在训练数据有限的情况下，实现了热成像到可见光成像人脸识别基准上的最先进性能。

ABSTRACT

This work tackles the face recognition task on images captured using thermal camera sensors which can operate in the non-light environment. While it can greatly increase the scope and benefits of the current security surveillance systems, performing such a task using thermal images is a challenging problem compared to face recognition task in the Visible Light Domain (VLD). This is partly due to the much smaller amount number of thermal imagery data collected compared to the VLD data. Unfortunately, direct application of the existing very strong face recognition models trained using VLD data into the thermal imagery data will not produce a satisfactory performance. This is due to the existence of the domain gap between the thermal and VLD images. To this end, we propose a Thermal-to-Visible Generative Adversarial Network (TV-GAN) that is able to transform thermal face images into their corresponding VLD images whilst maintaining identity information which is sufficient enough for the existing VLD face recognition models to perform recognition. Some examples are presented in Figure 1. Unlike the previous methods, our proposed TV-GAN uses an explicit closed-set face recognition loss to regularize the discriminator network training. This information will then be conveyed into the generator network in the forms of gradient loss. In the experiment, we show that by using this additional explicit regularization for the discriminator network, the TV-GAN is able to preserve more identity information when translating a thermal image of a person which is not seen before by the TV-GAN.

研究动机与目标

• 解决由于域差距和数据有限导致的热成像人脸识别性能低下问题。
• 实现在不重新训练的前提下，将预训练的可见光域（VLD）人脸识别模型直接部署于热成像图像上。
• 通过显式监督提升热成像到可见光图像翻译过程中的身份保留能力。
• 通过对抗学习结合身份正则化，减小热成像与可见光人脸图像之间的域差距。

提出的方法

• 采用条件生成对抗网络框架，其中生成器将热成像图像映射为类似可见光图像。
• 判别器执行双重任务：真实/虚假图像分类与闭集人脸识别。
• 将闭集人脸识别损失嵌入判别器，并通过梯度反传至生成器。
• 生成器被训练以最小化对抗损失与身份保留损失，从而提升特征一致性。
• 利用成对的热成像与可见光人脸图像数据，学习图像翻译函数。
• 通过使用显式的身份监督而非感知损失（如基于VGG的损失），避免对感知损失的依赖，降低训练成本。

实验结果

研究问题

• RQ1 基于GAN的图像翻译模型是否能充分保留身份信息，仅凭热成像输入即可在可见光域实现准确的人脸识别？
• RQ2 在判别器中集成闭集人脸识别损失相比基于感知的损失，如何提升身份保留能力？
• RQ3 在数据稀缺条件下，所提出的TV-GAN是否优于现有的基于GAN和基于块的方法？
• RQ4 当在未见过的身份或属性（如佩戴眼镜）上进行测试时，该方法的鲁棒性如何？

主要发现

• TV-GAN在协议A（每人1张可见光图像）和协议B（每人4张可见光图像）下均优于所有对比方法，包括Pix2Pix，表现更优。
• 在协议A下，TV-GAN的Rank-1准确率达到24.08%，显著高于纯热成像基线（12.57%）和Pix2Pix（7.85%）。
• 在协议B下，TV-GAN的Rank-3准确率达到31.41%，优于纯热成像方法（Rank-3为46.07%，但Rank-1较低）和Pix2Pix（Rank-3为36.13%）。
• 在测试佩戴眼镜的受试者（训练中未包含）时，TV-GAN仍优于纯热成像方法，尽管性能有所下降，表明对未见属性存在敏感性。
• 消融实验表明，若缺乏足够训练数据，即使TV-GAN这类基于GAN的方法也难以超越纯热成像基线，凸显数据稀缺是关键挑战。
• 可视化结果表明，TV-GAN生成的图像在真实感和身份一致性方面优于基线方法，但偶尔会丢失种族或年龄等属性。