[论文解读] Deep Heterogeneous Feature Fusion for Template-Based Face Recognition

Navaneeth Bodla, Jingxiao Zheng+4 more|arXiv (Cornell University)|Feb 15, 2017

Face recognition and analysis参考文献 23被引用 12

一句话总结

本文提出了一种深度异质特征融合网络，通过结合两种最先进的深度卷积神经网络（DCNNs）的互补特征，以提升在极端变化条件下的基于模板的人脸识别性能。通过联合学习非线性高维投影并保持特征的内在几何结构，该方法在具有挑战性的 IARPA Janus CS3 数据集上实现了卓越性能，优于现有的融合技术，并在姿态、光照和遮挡等多样化协变量下表现出鲁棒性。

ABSTRACT

Although deep learning has yielded impressive performance for face recognition, many studies have shown that different networks learn different feature maps: while some networks are more receptive to pose and illumination others appear to capture more local information. Thus, in this work, we propose a deep heterogeneous feature fusion network to exploit the complementary information present in features generated by different deep convolutional neural networks (DCNNs) for template-based face recognition, where a template refers to a set of still face images or video frames from different sources which introduces more blur, pose, illumination and other variations than traditional face datasets. The proposed approach efficiently fuses the discriminative information of different deep features by 1) jointly learning the non-linear high-dimensional projection of the deep features and 2) generating a more discriminative template representation which preserves the inherent geometry of the deep features in the feature space. Experimental results on the IARPA Janus Challenge Set 3 (Janus CS3) dataset demonstrate that the proposed method can effectively improve the recognition performance. In addition, we also present a series of covariate experiments on the face verification task for in-depth qualitative evaluations for the proposed approach.

研究动机与目标

• 解决单一深度网络在处理基于模板的人脸识别中极端变化（如姿态、光照、模糊和遮挡）时的局限性。
• 利用不同 DCNN 架构提取的异质深度特征中的互补判别信息。
• 开发一种在嵌入空间中保持深度特征内在几何结构的特征融合方法。
• 不仅通过 ROC 曲线进行定量评估，还通过在具有挑战性的现实条件下的协变量分析进行定性评估。

提出的方法

• 通过在高维空间中进行联合非线性投影，融合来自两个预训练 DCNN（ResNet-101 和 VGG-16）的特征，以增强判别能力。
• 将特征融合建模为联合优化问题，学习深度特征的共享非线性变换，同时保持其相对几何关系。
• 通过使用学习到的度量方法组合投影后的特征，构建融合表示，以突出判别性成分。
• 采用度量学习框架，优化模板间的相似性与模板内紧凑性。
• 将仅图像和仅视频帧的模板整合为统一表示，实现跨混合媒体模板的鲁棒性能。
• 引入一种新颖的协变量分析协议，用于在受控变化（如眼睛可见性、室内/室外光照）下评估性能。

实验结果

研究问题

• RQ1 融合多个 DCNN 提取的异质深度特征是否能提升在高度可变的基于模板的人脸识别场景中的识别准确率？
• RQ2 在融合过程中保持深度特征的内在几何结构，是否能增强最终模板表示的判别能力？
• RQ3 在姿态、光照和模糊等极端变化下，所提出的融合方法是否比传统拼接或早期融合策略具有更好的泛化能力？
• RQ4 特定协变量（如眼睛可见性和室内/室外光照）如何影响融合模型的性能？
• RQ5 与基线方法相比，该方法在真实世界、非约束环境下的人脸识别设置中，其鲁棒性提升程度如何？

主要发现

• 所提出的方法在 IARPA Janus 挑战集 3（Janus CS3）数据集上达到了最先进性能，显著优于基线方法（如拼接和多核学习）的指标。
• 在整体验证协议下，该方法在假正例率（FPR）为 0.001 时实现了 0.9488 的真正例率（TPR），表明在严格条件下具有高准确性。
• 在协变量分析中，当两个模板均显示眼睛时（TPR = 0.9605，FPR = 0.001），以及当两者均在室内拍摄时（TPR = 0.9494，FPR = 0.001），该方法表现出显著改进，表明对光照和遮挡具有鲁棒性。
• 定性协变量分析表明，即使一个模板可见性差或拍摄于户外，融合模型仍能保持强性能，凸显其泛化能力。
• 消融研究证实，联合非线性投影与几何结构保持显著优于简单拼接或早期融合策略。
• 该方法在所有画廊-探测样本划分和模板类型（仅图像、混合媒体）中均表现出一致的性能提升，证实了其鲁棒性与可扩展性。