[论文解读] DVG-Face: Dual Variational Generation for Heterogeneous Face Recognition

Chaoyou Fu, Xiang Wu+3 more|arXiv (Cornell University)|Sep 20, 2020

Face recognition and analysis被引用 8

一句话总结

本文提出 DVG-Face，一种双变分生成框架，通过在有限成对数据和未配对可见数据上训练的条件生成器，从噪声中合成大规模、多样化且身份一致的异构人脸图像对（如 NIR-VIS、Sketch-Photo）。通过整合大规模可见图像中的身份先验，并利用新型损失函数强制成对身份一致性，DVG-Face 实现了 HFR 的对比学习，七项基准测试中均达到最先进性能，在 BUAA-VisNir 数据集上 VR@FAR=0.1% 的性能提升最高达 2.2%。

ABSTRACT

Heterogeneous Face Recognition (HFR) refers to matching cross-domain faces and plays a crucial role in public security. Nevertheless, HFR is confronted with challenges from large domain discrepancy and insufficient heterogeneous data. In this paper, we formulate HFR as a dual generation problem, and tackle it via a novel Dual Variational Generation (DVG-Face) framework. Specifically, a dual variational generator is elaborately designed to learn the joint distribution of paired heterogeneous images. However, the small-scale paired heterogeneous training data may limit the identity diversity of sampling. In order to break through the limitation, we propose to integrate abundant identity information of large-scale visible data into the joint distribution. Furthermore, a pairwise identity preserving loss is imposed on the generated paired heterogeneous images to ensure their identity consistency. As a consequence, massive new diverse paired heterogeneous images with the same identity can be generated from noises. The identity consistency and identity diversity properties allow us to employ these generated images to train the HFR network via a contrastive learning mechanism, yielding both domain-invariant and discriminative embedding features. Concretely, the generated paired heterogeneous images are regarded as positive pairs, and the images obtained from different samplings are considered as negative pairs. Our method achieves superior performances over state-of-the-art methods on seven challenging databases belonging to five HFR tasks, including NIR-VIS, Sketch-Photo, Profile-Frontal Photo, Thermal-VIS, and ID-Camera. The related code will be released at https://github.com/BradyFU.

研究动机与目标

• 解决异构人脸识别（HFR）中领域差异大且成对异构人脸数据有限的挑战。
• 克服现有条件图像到图像翻译方法在 HFR 中存在的类内多样性不足与身份不一致问题。
• 通过将大规模未配对可见人脸数据整合到生成过程中，增强生成的成对异构图像的身份多样性。
• 通过成对身份保持损失，确保生成的成对图像（如 NIR 与 VIS）之间身份一致。
• 通过使用生成图像作为正样本对和负样本对，实现 HFR 网络的有效训练。

提出的方法

• 设计双变分生成器，利用有限的成对训练数据学习成对异构人脸图像（如 NIR 与 VIS）的联合分布。
• 将未配对的大规模可见人脸数据引入生成器，以丰富生成样本中的身份多样性。
• 引入成对身份保持损失，强制确保生成的成对图像之间身份一致，确保其属于同一身份。
• 将生成的成对图像用作正样本对，而来自不同噪声样本的图像则作为对比学习目标中的负样本对。
• 通过对比学习使用生成数据训练 HFR 网络，学习域不变且具有判别力的嵌入特征。
• 采用无条件生成策略，允许从噪声中采样，生成具有一致身份的新颖、多样化异构人脸对。

实验结果

研究问题

• RQ1 如何生成大规模、多样化且身份一致的成对异构人脸图像，以缓解 HFR 中的数据稀缺问题？
• RQ2 未配对可见人脸数据在增强生成异构人脸对的身份多样性方面起到什么作用？
• RQ3 在生成的成对图像之间强制实施成对身份一致性，如何提升 HFR 性能？
• RQ4 使用生成的成对图像作为正样本对进行对比学习，能否显著提升 HFR 模型的泛化能力与准确率？
• RQ5 所提出的 DVG-Face 框架是否在多样化的 HFR 基准上优于现有的条件图像到图像翻译与对比学习方法？

主要发现

• 在 IIIT-D Sketch Viewed 数据集中，DVG-Face 实现了 97.21% 的 Rank-1 准确率，比之前最先进方法 RCN 提高 6.87 个百分点。
• 在 BUAA-VisNir 数据集中，DVG-Face 实现了 VR@FAR=0.1% 的 99.1%，优于次佳方法 PACH 的 5.6 个百分点，以及 DVR 的 2.2 个百分点。
• 在 Tufts Face 数据集中，DVG-Face 将 Rank-1 准确率从 56.1%（DVG）提升至 75.7%，VR@FAR=0.1% 从 17.1% 提升至 36.5%。
• ROC 分析显示，在 BUAA-VisNir 数据集上，DVG-Face 在 TPR@FPR=10^-5 时比 DVR 高出 5.4%，表明在低误报率下表现更优。
• DVG-Face 在五项 HFR 任务中持续达到最先进性能：NIR-VIS、Sketch-Photo、Profile-Frontal Photo、Thermal-VIS 和 ID-Camera。
• 整合未配对可见数据显著增强了身份多样性，使从噪声中生成全新、逼真且身份一致的成对图像成为可能。