[论文解读] Domain Adaptation with Soft-margin multiple feature-kernel learning beats Deep Learning for surveillance face recognition

Samik Banerjee, Sukhendu Das|arXiv (Cornell University)|Oct 5, 2016

Face recognition and analysis参考文献 31被引用 5

一句话总结

该论文提出了一种结合领域自适应（DA）的软边界多特征核学习（SML-MFKC）框架，用于监控人脸识别，在真实世界数据集上的表现优于深度学习方法。该方法在FR_SURV数据集上实现了56.44%的rank-1识别率，在SCFace数据集上达到79.86%，在ChokePoint数据集上达到85.59%，展现出对低分辨率、低对比度及光照变化的卓越鲁棒性。

ABSTRACT

Face recognition (FR) is the most preferred mode for biometric-based surveillance, due to its passive nature of detecting subjects, amongst all different types of biometric traits. FR under surveillance scenario does not give satisfactory performance due to low contrast, noise and poor illumination conditions on probes, as compared to the training samples. A state-of-the-art technology, Deep Learning, even fails to perform well in these scenarios. We propose a novel soft-margin based learning method for multiple feature-kernel combinations, followed by feature transformed using Domain Adaptation, which outperforms many recent state-of-the-art techniques, when tested using three real-world surveillance face datasets.

研究动机与目标

• 解决由于画廊集与查询集图像之间存在低分辨率、低对比度及光照变化而导致的监控人脸识别性能不佳的长期挑战。
• 克服深度学习模型在真实监控环境中因领域分布偏移而失效的问题，尽管其在受控环境中表现优异。
• 开发一种鲁棒的特征学习与自适应流程，结合最优核选择与领域自适应，以对齐源域（画廊集）和目标域（查询集）的分布。
• 证明通过精心设计的多核学习方法结合软边界优化，可在真实监控数据集中超越当前最先进（SOTA）的深度学习模型。

提出的方法

• 使用Chehra人脸检测器提取49个特征点，对监控图像中的面部区域进行紧密裁剪。
• 对画廊集和查询集图像进行预处理，以减少对比度和光照差异。
• 实施软边界多特征核学习（SML-MFKC），通过凸优化框架联合优化特征选择与核组合。
• 通过最小化领域偏移，采用一种变换实现领域自适应（DA），以对齐画廊集（源域）和查询集（目标域）的特征分布。
• 在Grassmann流形上采用基于路径的方法，估计一个共享潜在空间，使源域和目标域子空间在此空间中对齐。
• 将SML-MFKC与DA组件整合为统一框架，最终识别通过基于核的分类器完成。

实验结果

研究问题

• RQ1 在严重领域偏移条件下，软边界多特征核学习方法是否能在监控人脸识别中超越深度学习模型？
• RQ2 在低质量监控数据中，通过对齐画廊集与查询集的领域特征分布，领域自适应在多大程度上提升了识别准确率？
• RQ3 在真实世界监控数据集中，该方法与当前最先进深度学习模型相比，在rank-1识别率、CMC曲线和ROC曲线上表现如何？
• RQ4 尽管深度学习模型在受控环境中表现优异，为何在监控场景中会失效？基于核的方法能否缓解这一失效问题？

主要发现

• 所提出的SML-MFKC结合DA在FR_SURV数据集上实现了56.44%的rank-1识别率，显著优于最佳深度学习方法（FaceNet + Alignment，36.53%）。
• 在SCFace数据集上，该方法达到79.86%的rank-1准确率，超过次优方法（VGG Face + DeepFace，46.25%）。
• 在ChokePoint数据集上，该方法实现85.59%的rank-1准确率，超过第二好的方法（FaceNet + Alignment，69.86%）。
• 在CMC和ROC曲线方面，该方法在所有三个数据集上均持续优于所有对比方法，如图4和图5所示。
• 基础基线方法（无DA的SML-MFKC）表现极具竞争力，表明核心核学习组件本身已非常强大，但DA显著提升了整体性能。
• FR_SURV数据集仍是最具挑战性的，所有方法中准确率最低，凸显了户外监控条件的困难性，也表明仍需进一步改进。