[论文解读] A Good Practice Towards Top Performance of Face Recognition: Transferred Deep Feature Fusion

Lin Xiong, Karlekar Jayashree+6 more|arXiv (Cornell University)|Apr 3, 2017

Face recognition and analysis参考文献 45被引用 28

一句话总结

本文提出了一种名为迁移深度特征融合（TDFF）的统一框架，旨在实现 IJB-A 数据集上顶级的人脸识别性能。通过利用在大型源数据集上预训练的两种不同架构的深度卷积神经网络（DCNN）进行迁移学习，结合多模板的特征与匹配分数融合，并采用支持向量机（SVM）进行匹配，TDFF 在 IJB-A 数据集上取得了最先进性能，实现了 0.1% FAR 下 97.9% 的 TAR 和 99.2% 的 CMC rank-1 性能。

ABSTRACT

Unconstrained face recognition performance evaluations have traditionally focused on Labeled Faces in the Wild (LFW) dataset for imagery and the YouTubeFaces (YTF) dataset for videos in the last couple of years. Spectacular progress in this field has resulted in saturation on verification and identification accuracies for those benchmark datasets. In this paper, we propose a unified learning framework named Transferred Deep Feature Fusion (TDFF) targeting at the new IARPA Janus Benchmark A (IJB-A) face recognition dataset released by NIST face challenge. The IJB-A dataset includes real-world unconstrained faces from 500 subjects with full pose and illumination variations which are much harder than the LFW and YTF datasets. Inspired by transfer learning, we train two advanced deep convolutional neural networks (DCNN) with two different large datasets in source domain, respectively. By exploring the complementarity of two distinct DCNNs, deep feature fusion is utilized after feature extraction in target domain. Then, template specific linear SVMs is adopted to enhance the discrimination of framework. Finally, multiple matching scores corresponding different templates are merged as the final results. This simple unified framework exhibits excellent performance on IJB-A dataset. Based on the proposed approach, we have submitted our IJB-A results to National Institute of Standards and Technology (NIST) for official evaluation. Moreover, by introducing new data and advanced neural architecture, our method outperforms the state-of-the-art by a wide margin on IJB-A dataset.

研究动机与目标

• 解决现有人脸识别方法在具有高姿态、光照和遮挡变化的非约束真实世界数据集上的局限性。
• 通过聚焦更具挑战性的 IJB-A 数据集，突破在 LFW 和 YTF 等标准基准上的性能饱和问题。
• 开发一个统一框架，有效融合来自多个深度卷积神经网络的互补特征，以提升鲁棒性与准确性。
• 通过整合多个匹配分数并使用模板特定的线性 SVM，增强基于模板的人脸识别判别能力。
• 在 IJB-A 基准上实现顶尖性能，反映真实世界生物识别应用的实际需求。

提出的方法

• 在两个大型且无重叠的源数据集上，分别训练两个具有不同架构的先进深度卷积神经网络（DCNN），以学习互补的面部表征。
• 将预训练的 DCNN 迁移到 IJB-A 目标域进行特征提取，利用迁移学习提升泛化能力。
• 实施两阶段特征融合策略：首先融合来自两个 DCNN 的深层特征，然后融合来自多个模板的相似性分数。
• 应用一对其余模板特定的线性 SVM，并通过精心选择的负样本集合，以增强最终匹配阶段的判别能力。
• 通过加权平均或投票方式，将来自不同模板的多个匹配分数合并为最终决策，以提升鲁棒性。
• 在 IJB-A 协议下，对验证和识别任务进行端到端优化，该协议强调基于集合的匹配。

实验结果

研究问题

• RQ1 结合迁移学习与特征融合的统一深度学习框架，是否能在具有挑战性的 IJB-A 人脸识别基准上实现卓越性能？
• RQ2 在不同源数据集上训练的两种不同深度 CNN 所展现的互补性，如何在非约束条件下提升识别准确率？
• RQ3 特征与匹配分数的两阶段融合策略，在基于模板的人脸识别中在多大程度上提升了判别能力？
• RQ4 当与深度特征融合结合时，模板特定的线性 SVM 是否能显著提升在 IJB-A 上的性能？
• RQ5 所提出的 TDFF 框架是否在 IJB-A 评估协议下的验证与识别任务中均优于现有最先进方法？

主要发现

• TDFF 在 IJB-A 数据集上实现了 1:1 验证任务中 0.1% FAR 下 97.9% 的真实接受率（TAR），显著优于以往最先进方法。
• 该方法在 1:N 识别任务中实现了 99.2% 的 rank-1 识别率，且 rank-10 率达到 100%，在所有 CMC 指标上均表现强劲。
• 当与三元组嵌入（TPE）结合时，TDFF 实现了 98.8% 的 rank-1 识别率和 99.2% 的 rank-10 性能，表明其具备强大的鲁棒性与泛化能力。
• 两阶段融合策略——先融合深层特征，再融合相似性分数——在高可变性条件下对实现高精度至关重要。
• 使用经选择的负样本集合的模板特定线性 SVM 显著提升了判别能力，尤其在姿态和光照变化较大的困难样本中表现突出。
• TDFF 在 IJB-A 上全面超越所有先前方法，包括 DA-GAN、L2-softmax 和三元组嵌入等先进模型，确立了新的最先进水平。