[论文解读] Coupled Deep Learning for Heterogeneous Face Recognition

Xiang Wu, Lingxiao Song+2 more|arXiv (Cornell University)|Apr 8, 2017

Face recognition and analysis参考文献 32被引用 11

一句话总结

本文提出了一种新型深度学习框架——耦合深度学习（CDL），用于异质人脸识别。该框架通过迹范数和块对角先验作为相关性约束，在共享特征空间中对齐近红外（NIR）与可见光（VIS）人脸图像，同时结合跨模态排序损失以增强特征判别性。CDL在CASIA NIR-VIS 2.0和素描-照片数据库上显著优于当前最先进方法，实现了98.62%的rank-1准确率和FAR=0.1%时98.32%的验证率。

ABSTRACT

Heterogeneous face matching is a challenge issue in face recognition due to large domain difference as well as insufficient pairwise images in different modalities during training. This paper proposes a coupled deep learning (CDL) approach for the heterogeneous face matching. CDL seeks a shared feature space in which the heterogeneous face matching problem can be approximately treated as a homogeneous face matching problem. The objective function of CDL mainly includes two parts. The first part contains a trace norm and a block-diagonal prior as relevance constraints, which not only make unpaired images from multiple modalities be clustered and correlated, but also regularize the parameters to alleviate overfitting. An approximate variational formulation is introduced to deal with the difficulties of optimizing low-rank constraint directly. The second part contains a cross modal ranking among triplet domain specific images to maximize the margin for different identities and increase data for a small amount of training samples. Besides, an alternating minimization method is employed to iteratively update the parameters of CDL. Experimental results show that CDL achieves better performance on the challenging CASIA NIR-VIS 2.0 face recognition database, the IIIT-D Sketch database, the CUHK Face Sketch (CUFS), and the CUHK Face Sketch FERET (CUFSF), which significantly outperforms state-of-the-art heterogeneous face recognition methods.

研究动机与目标

• 解决异质人脸识别中因NIR与VIS模态间存在显著域差异且配对训练数据有限所带来的挑战。
• 减少由模态特异性外观差异（如光照、传感器类型）引起的类内差异，以提升匹配准确率。
• 构建一种深度学习框架，利用大规模VIS数据提升在有限NIR-VIS配对样本上的泛化能力。
• 通过在共享嵌入空间中联合优化相关性与排序约束，增强特征判别性与模态不变性。
• 实现具有约束参数共享与低秩及块对角结构迭代优化的CNN端到端有效训练。

提出的方法

• 提出一种耦合深度学习（CDL）目标函数，结合迹范数与块对角先验约束，以强制VIS与NIR投影矩阵之间的相关性。
• 采用近似变分公式化方法，实现对非凸迹范数约束的可微优化，支持端到端反向传播。
• 在三元组样本（一个NIR图像，两个不同身份的VIS图像）上引入跨模态排序损失，以最大化类间边界并提升判别能力。
• 采用交替最小化策略，联合优化深度网络参数与低秩结构，提升收敛性与泛化性能。
• 在浅层共享跨模态参数，以减少过拟合并提升在有限配对数据下的参数效率。
• 使用随机梯度下降进行端到端训练，损失函数为：带有相关性约束的softmax + 跨模态排序损失。

实验结果

研究问题

• RQ1 相关性约束（迹范数与块对角先验）是否能有效减少模态特异性差异，同时保留异质人脸识别中的身份信息？
• RQ2 当仅有少量配对样本时，跨模态排序损失的引入是否能提升特征判别性与泛化能力？
• RQ3 所提出的近似变分公式化方法是否能高效优化端到端CNN框架中的高阶迹范数约束？
• RQ4 在多样化的异质人脸识别基准测试中，CDL与当前最先进方法相比，在验证准确率与鲁棒性方面表现如何？
• RQ5 通过参数共享与联合优化，利用大规模VIS数据在有限NIR-VIS配对数据集上能将性能提升到何种程度？

主要发现

• CDL在CASIA NIR-VIS 2.0数据库上实现了98.62%的rank-1准确率，显著优于先前SOTA方法IDR（91.88%）。
• 在FAR=0.1%时，CDL达到98.32%的验证率，优于IDR（85.31%）及其他基于CNN的方法。
• 在IIIT-D素描数据库上，CDL实现85.35%的rank-1准确率，超越所有其他基于CNN的方法及现有素描-照片识别技术。
• 与标准softmax监督相比，引入相关性约束使FAR=0.1%时的验证率提升2.20%，FAR=0.01%时也提升2.20%。
• 仅使用跨模态排序损失时性能低于结合相关性约束的softmax，表明两部分组件对最优性能均不可或缺。
• 即使在极低FAR（如0.0001%）下，CDL仍保持强劲性能，验证率约75%，显著优于其他方法（如IDR为55%，基于Gabor的模型低于40%）。