[论文解读] Adversarial Discriminative Heterogeneous Face Recognition

Lingxiao Song, Man Zhang+2 more|arXiv (Cornell University)|Sep 12, 2017

Face recognition and analysis参考文献 42被引用 11

一句话总结

本文提出了一种用于异质人脸识别（HFR）的端到端对抗性判别特征学习框架，结合了像素空间中的基于GAN的跨光谱人脸幻化，以及特征空间中的对抗性损失与高阶方差差异损失，以减小模态差异。该方法在三个NIR-VIS数据库上实现了最先进性能，使用紧凑的256D特征表示，优于先前方法，且无需大规模成对数据或复杂网络结构。

ABSTRACT

The gap between sensing patterns of different face modalities remains a challenging problem in heterogeneous face recognition (HFR). This paper proposes an adversarial discriminative feature learning framework to close the sensing gap via adversarial learning on both raw-pixel space and compact feature space. This framework integrates cross-spectral face hallucination and discriminative feature learning into an end-to-end adversarial network. In the pixel space, we make use of generative adversarial networks to perform cross-spectral face hallucination. An elaborate two-path model is introduced to alleviate the lack of paired images, which gives consideration to both global structures and local textures. In the feature space, an adversarial loss and a high-order variance discrepancy loss are employed to measure the global and local discrepancy between two heterogeneous distributions respectively. These two losses enhance domain-invariant feature learning and modality independent noise removing. Experimental results on three NIR-VIS databases show that our proposed approach outperforms state-of-the-art HFR methods, without requiring of complex network or large-scale training dataset.

研究动机与目标

• 为解决异质人脸模态（如NIR与VIS）之间的感知差距，该差距阻碍了准确的人脸识别。
• 通过利用双路径GAN架构改进幻化效果，克服跨光谱人脸识别中成对训练数据的缺乏。
• 通过最小化模态间全局与局部分布差异，学习域不变且具有判别性的特征。
• 将跨光谱人脸幻化与判别性特征学习整合到单一端到端对抗性网络中，实现联合优化。
• 通过紧凑的特征表示实现高识别准确率，避免对大规模数据集或复杂网络的依赖。

提出的方法

• 在像素空间中采用双路径GAN架构，从NIR输入生成逼真的VIS人脸图像，通过建模全局结构与局部纹理提升图像质量。
• 在特征空间中引入对抗性损失，对齐异质人脸特征在不同模态间的全局分布。
• 应用高阶方差差异（CVD）损失，减少局部变化与模态无关噪声，增强类内一致性。
• 在端到端对抗性网络中联合优化像素空间幻化与特征空间域自适应。
• 采用256维特征表示，该表示兼具紧凑性与判别性，通过联合优化GAN、对抗性与CVD损失学习得到。

实验结果

研究问题

• RQ1 在像素空间与特征空间中联合使用对抗性学习，能否有效弥合异质人脸识别中的感知差距？
• RQ2 当成对训练数据稀缺时，双路径GAN架构在跨光谱人脸幻化中能如何提升性能？
• RQ3 对抗性损失与高阶方差差异损失在多大程度上能增强域不变且具有判别性的特征学习？
• RQ4 幻化与特征学习的联合优化是否优于孤立方法？
• RQ5 紧凑的256D特征表示能否在无需大规模或成对训练数据的情况下实现最先进性能？

主要发现

• 在CASIA NIR-VIS数据库上，所提方法实现98.15%的Rank-1准确率与FAR=0.1%时97.18%的验证率，分别优于先前最先进方法IDR的0.81%与1.45%。
• 在BUAA-VisNir数据库上，方法实现95.2%的Rank-1准确率与FAR=0.1%时88.0%的验证率，分别优于先前最佳方法IDR的0.9%与3.3%。
• 在Oulu-CASIA NIR-VIS数据库上，方法实现95.5%的Rank-1准确率与FAR=0.1%时60.7%的验证率，分别优于IDR的94.3%与46.2%。
• 消融实验表明，对抗性损失与高阶方差差异（CVD）损失均至关重要：移除任一损失均显著降低性能，尤其在低FAR时更为明显。
• 该方法能从NIR输入生成逼真的VIS图像，即使在成对数据有限的情况下也展现出有效的跨光谱幻化能力，归因于双路径GAN设计。