[论文解读] Cross-Domain Face Verification: Matching ID Document and Self-Portrait Photographs

Guilherme Folego, Marcus A. Angeloni+3 more|arXiv (Cornell University)|Nov 17, 2016

Face recognition and analysis参考文献 19被引用 6

一句话总结

本文提出了一种跨域人脸验证系统，通过光照增强、基于卷积神经网络的特征提取（使用预训练的VGG-16）以及特征归一化，将自拍照片与身份证件照片进行匹配。最佳流水线——采用ACE增强、fc6 ReLU特征并进行L1归一化，结合绝对差值方法——实现了0.06111的中位HTER，显著优于基线（0.22），表明其在域分布偏移条件下的真实世界身份认证中具有强大潜力。

ABSTRACT

Cross-domain biometrics has been emerging as a new necessity, which poses several additional challenges, including harsh illumination changes, noise, pose variation, among others. In this paper, we explore approaches to cross-domain face verification, comparing self-portrait photographs ("selfies") to ID documents. We approach the problem with proper image photometric adjustment and data standardization techniques, along with deep learning methods to extract the most prominent features from the data, reducing the effects of domain shift in this problem. We validate the methods using a novel dataset comprising 50 individuals. The obtained results are promising and indicate that the adopted path is worth further investigation.

研究动机与目标

• 为解决在成像条件差异显著的情况下，使用自拍照片与打印的身份证件照片进行身份验证的挑战。
• 减轻由光照、噪声、姿态变化以及图像质量差异引起的域偏移影响。
• 开发一种与分类器无关的流水线，避免用户注册和生物特征档案创建，从而最小化隐私和数据需求。
• 评估图像预处理、特征提取、归一化及组合技术对验证性能的影响。
• 为现实世界数字注册场景中的跨域人脸验证建立基线。

提出的方法

• 应用自动色彩均衡化（ACE）进行辐射度补偿，以减少自拍照片与身份证件照片之间的光照和对比度差异。
• 使用预训练的VGG-16卷积神经网络，从fc6层提取具有ReLU激活的深层特征，利用迁移学习应对域偏移问题。
• 对特征向量应用L1归一化，以减少不同域之间特征幅值的差异，提升特征空间对齐效果。
• 通过绝对差值操作组合来自两个域的特征，以突出差异性并增强可分性。
• 在组合后的特征上训练并比较多种分类器（线性SVM、RBF-SVM、逻辑回归），以评估性能稳定性。
• 在16种流水线组合中进行1,600次实验，每次使用100组随机数据集划分，确保评估的稳健性。

实验结果

研究问题

• RQ1 图像的辐射度增强（如ACE）是否显著提升跨域人脸验证性能？
• RQ2 在域偏移条件下，哪个卷积神经网络层及激活函数能产生最具判别力的特征？
• RQ3 在组合不同域的特征时，特征归一化（如L1）是否能提升性能？
• RQ4 与简单拼接或其他方法相比，通过绝对差值组合特征是否能提升验证准确率？
• RQ5 在该跨域设置下，不同分类器（SVM、逻辑回归）是否表现出统计上显著的性能差异？

主要发现

• 通过ACE进行图像增强显著提升了验证性能，将中位HTER从基线的0.22降低至0.06111。
• fc6层配合ReLU激活函数提供了最有效的特征表示，其性能优于VGG-16网络中的其他层和激活函数。
• L1归一化在所有流水线中均一致地提升了性能，表明幅值归一化对于跨域特征对齐至关重要。
• 绝对差值特征组合方法优于其他替代方案，能有效捕捉域间特异性差异。
• 分类器之间未发现统计上显著的差异（p = 0.96365），表明所提取的特征本身已具备良好的线性可分性。
• 表现最佳的流水线实现了FAR为0.02222、FRR为0.10000，表明真阳率达90%，且具有强大的冒名者拒绝能力。