[论文解读] Beyond the Visible: A Survey on Cross-spectral Face Recognition

David Anghelone, Cunjian Chen+2 more|arXiv (Cornell University)|Jan 12, 2022

Face recognition and analysis被引用 4

一句话总结

本综述全面概述了跨光谱人脸识别（CFR），聚焦于利用深度学习技术弥合可见光与红外光谱之间的模态差异。该综述评估了基于卷积神经网络（CNN）和生成对抗网络（GAN）的方法，强调了关键数据集，并指出了光谱变化、数据有限性和分辨率问题等挑战，最后提出了面向鲁棒、隐私保护生物识别系统的未来研究方向。

ABSTRACT

Cross-spectral face recognition (CFR) refers to recognizing individuals using face images stemming from different spectral bands, such as infrared versus visible. While CFR is inherently more challenging than classical face recognition due to significant variation in facial appearance caused by the modality gap, it is useful in many scenarios including night-vision biometrics and detecting presentation attacks. Recent advances in deep neural networks (DNNs) have resulted in significant improvement in the performance of CFR systems. Given these developments, the contributions of this survey are three-fold. First, we provide an overview of CFR, by formalizing the CFR problem and presenting related applications. Secondly, we discuss the appropriate spectral bands for face recognition and discuss recent CFR methods, placing emphasis on deep neural networks. In particular we describe techniques that have been proposed to extract and compare heterogeneous features emerging from different spectral bands. We also discuss the datasets that have been used for evaluating CFR methods. Finally, we discuss the challenges and future lines of research on this topic.

研究动机与目标

• 将跨光谱人脸识别（CFR）问题形式化，并明确其与传统可见光谱人脸识别的区别。
• 分析CFR中的挑战，包括光谱内显著变化、模态差异以及跨光谱波段配对训练数据有限的问题。
• 回顾并分类基于深度学习的CFR方法，特别是利用卷积神经网络（CNN）和生成对抗网络（GAN）学习域不变特征并合成跨光谱图像的技术。
• 评估CFR研究中使用现有数据集的情况，并识别数据可用性与多样性方面的不足。
• 概述开放的研究问题，包括提升泛化能力、增强热成像波段的分辨率，以及应对欺骗攻击和隐私威胁的鲁棒性。

提出的方法

• 将CFR形式化为一项任务：使用深度学习模型匹配来自不同光谱模态（如可见光、近红外NIR、长波红外LWIR）的面部图像，该模型通过最小化模态特异性外观差异进行训练。
• 通过深度神经网络实现域不变特征学习，特别采用三元组损失以在不同光谱域之间强制实现类内紧凑性和类间可分性。
• 利用生成对抗网络（GAN）合成跨光谱面部图像，通过身份损失确保身份保留，辅以损失函数（如形状、语义、属性等）提升真实感与保真度。
• 应用无监督域自适应技术，在无需成对训练样本的情况下，对齐源域（如可见光）与目标域（如红外）之间的特征分布。
• 在后处理阶段集成超分辨率技术，以增强低分辨率热成像图像，尤其适用于中波红外（MWIR）和长波红外（LWIR）波段。
• 采用多光谱成像技术，包括长波红外中的偏振成像，通过捕捉面部表面的附加物理特性来提高识别准确率。

实验结果

研究问题

• RQ1 深度神经网络如何有效学习在可见光、近红外（NIR）和热红外等异质光谱波段之间保持不变的身份特征？
• RQ2 在存在域偏移的情况下，哪些损失函数（如三元组损失与对比损失）对端到端CFR模型训练最为有效？
• RQ3 基于GAN的图像合成在多大程度上可以缩小跨光谱人脸识别中的模态差异？辅助损失如何提升合成质量？
• RQ4 光谱波段选择（NIR、SWIR、MWIR、LWIR）如何影响识别性能？哪些波段最适合实际应用场景？
• RQ5 当前CFR数据集的关键局限是什么？未来数据采集如何提升模型的泛化能力与鲁棒性？

主要发现

• 三元组损失在CFR中优于对比损失，因其能同时最小化类内差异并最大化特征空间中的类间间隔。
• 基于GAN的跨光谱图像合成在缩小模态差异方面展现出潜力，尽管目前合成数据尚未超越真实数据的最先进性能。
• 近红外（NIR）是反射式红外到可见光CFR的首选光谱波段，因其具有更好的分辨率并能与现有系统兼容。
• 热成像波段（MWIR/LWIR）在低光照环境和防伪检测方面具有优势，但受限于分辨率较低和模态差异更大，尤其与可见光或NIR相比。
• 长波红外中的偏振成像已被证明比标准强度成像具有更高的识别准确率，表明其在未来高性能系统中具有潜力。
• 尽管技术不断进步，CFR仍受限于公开、大规模且多样化的数据集不足，这限制了模型的泛化能力与基准测试。