[论文解读] Cross-spectral Face Completion for NIR-VIS Heterogeneous Face Recognition

Ran He, Jie Cao+3 more|arXiv (Cornell University)|Feb 10, 2019

Face recognition and analysis参考文献 5被引用 8

一句话总结

本文提出跨光谱面部修复（CFC），一种端到端深度生成框架，通过结合纹理修复与姿态校正组件，将近红外（NIR）输入合成高分辨率、正面可见光（VIS）面部图像。通过将一对一的无监督图像翻译问题转化为成对翻译，CFC在CASIA NIR-VIS 2.0数据集上实现了100%的SOTA排名1准确率，显著提升了异质面部识别性能。

ABSTRACT

Near infrared-visible (NIR-VIS) heterogeneous face recognition refers to the process of matching NIR to VIS face images. Current heterogeneous methods try to extend VIS face recognition methods to the NIR spectrum by synthesizing VIS images from NIR images. However, due to self-occlusion and sensing gap, NIR face images lose some visible lighting contents so that they are always incomplete compared to VIS face images. This paper models high resolution heterogeneous face synthesis as a complementary combination of two components, a texture inpainting component and pose correction component. The inpainting component synthesizes and inpaints VIS image textures from NIR image textures. The correction component maps any pose in NIR images to a frontal pose in VIS images, resulting in paired NIR and VIS textures. A warping procedure is developed to integrate the two components into an end-to-end deep network. A fine-grained discriminator and a wavelet-based discriminator are designed to supervise intra-class variance and visual quality respectively. One UV loss, two adversarial losses and one pixel loss are imposed to ensure synthesis results. We demonstrate that by attaching the correction component, we can simplify heterogeneous face synthesis from one-to-many unpaired image translation to one-to-one paired image translation, and minimize spectral and pose discrepancy during heterogeneous recognition. Extensive experimental results show that our network not only generates high-resolution VIS face images and but also facilitates the accuracy improvement of heterogeneous face recognition.

研究动机与目标

• 为解决NIR与VIS光谱之间的跨光谱面部识别挑战，其中NIR图像因自遮挡和感知间隙导致纹理不完整。
• 通过引入姿态校正组件，将一对一的无监督图像到图像翻译问题简化，以降低复杂度并对齐NIR与VIS姿态。
• 通过整合多尺度与细粒度判别器，结合像素损失、对抗损失和身份保持损失，提升生成质量与识别准确率。
• 在CASIA NIR-VIS 2.0数据集上建立新基准，以系统评估异质面部识别中的跨光谱面部合成性能。

提出的方法

• 该框架结合了纹理修复组件（从NIR输入生成VIS纹理）与姿态校正组件（将非正面NIR面部映射为正面VIS姿态）。
• 通过一种变形操作将两部分整合为一个端到端深度神经网络，实现从单一NIR输入到对应正面VIS输出的成对图像翻译。
• 多尺度小波判别器用于监督高频细节与视觉质量，而细粒度判别器则用于降低生成面部的类内差异。
• 损失函数结合了像素损失、两个对抗损失（一个用于最终图像，一个用于小波分解）以及身份保持损失，以维持身份一致性。
• 模型通过真实NIR-VIS配对数据与合成数据增强联合训练，目标是最小化光谱与姿态差异。

实验结果

研究问题

• RQ1 将跨光谱面部合成建模为成对图像到图像翻译问题，是否能相比一对一无监督翻译提升识别准确率？
• RQ2 姿态校正与纹理修复的集成在降低类内差异与提升生成VIS面部视觉保真度方面效果如何？
• RQ3 多尺度与细粒度判别器在多大程度上提升了生成NIR到VIS面部图像的感知质量与识别性能？
• RQ4 统一的生成框架是否能在无需跨域配对训练数据的情况下，实现异质面部识别基准的SOTA性能？

主要发现

• CFC在CASIA NIR-VIS 2.0数据集上实现了100%的排名1准确率，这是首次通过图像合成在异质面部识别中达成如此高分。
• 在Oulu-CASIA NIR-VIS数据库上，CFC实现了99.9%的排名1准确率，FAR=1%时验证率为98.1%，FAR=0.1%时为90.7%，优于所有对比方法。
• 消融实验表明，身份保持损失显著提升了耳部与发丝等细微面部特征的重建效果，这些特征在NIR图像中常被遗漏。
• 基于小波的多尺度判别器提升了局部纹理质量，表现为更清晰的面部细节与更少的模糊现象，相较单尺度方法表现更优。
• 若移除对最终图像的对抗损失（L_G_F, L_D_F），结果会更模糊，证明其在保持视觉质量方面具有关键作用。
• 姿态校正组件实现了从一对一的翻译，简化了学习问题并减少了域偏移，从而显著提升了识别准确率。