[论文解读] A Deep Learning based Framework to Detect and Recognize Humans using Contactless Palmprints in the Wild

Yang Liu, Ajay Kumar|arXiv (Cornell University)|Dec 29, 2018

Biometric Identification and Security参考文献 29被引用 7

一句话总结

该论文提出了一种用于非受限环境中无接触掌纹人体检测与识别的深度学习框架，采用全卷积神经网络结合一种新型软偏移三元组损失函数，以学习判别性特征，并利用基于Faster R-CNN的掌纹检测器实现鲁棒的感兴趣区域定位。该方法在无需针对特定数据集调优的情况下，跨公开数据集展现出优越的泛化能力，在准确率和鲁棒性方面优于当前最先进方法。

ABSTRACT

Contactless and online palmprint identfication offers improved user convenience, hygiene, user-security and is highly desirable in a range of applications. This technical report details an accurate and generalizable deep learning-based framework to detect and recognize humans using contactless palmprint images in the wild. Our network is based on fully convolutional network that generates deeply learned residual features. We design a soft-shifted triplet loss function to more effectively learn discriminative palmprint features. Online palmprint identification also requires a contactless palm detector, which is adapted and trained from faster-R-CNN architecture, to detect palmprint region under varying backgrounds. Our reproducible experimental results on publicly available contactless palmprint databases suggest that the proposed framework consistently outperforms several classical and state-of-the-art palmprint recognition methods. More importantly, the model presented in this report offers superior generalization capability, unlike other popular methods in the literature, as it does not essentially require database-specific parameter tuning, which is another key advantage over other methods in the literature.

研究动机与目标

• 开发一种基于深度学习的框架，实现在非受限真实环境下的高精度、可泛化的无接触掌纹识别。
• 通过改进特征学习，解决无接触掌纹图像中高成像差异的挑战。
• 设计一种鲁棒的端到端系统，能够从复杂背景中自动检测掌纹区域，无需人工分割。
• 降低对数据库特定超参数调优的依赖，提升模型在多样化数据集间的泛化能力。
• 在公平比较条件下，展示该框架在性能上优于经典方法与当前最先进方法。

提出的方法

• 使用全卷积残差网络从无接触掌纹图像中提取深度学习的、空间对应特征。
• 提出一种新型软偏移三元组损失（SSTL）函数，以在成像差异和训练数据有限的条件下提升特征判别能力。
• 掌纹检测模块基于Faster R-CNN，包含区域建议网络（RPN）和Fast R-CNN头部，以在复杂背景中实现掌纹区域的精确定位。
• 对3K张图像的数据集应用数据增强，扩展至30K张图像，以提升训练过程中检测器的泛化能力。
• 系统使用TensorFlow进行端到端训练，实现检测与识别组件的联合优化。
• 通过mAP和多个IoU阈值（0.35–0.6）下的召回率评估性能，以衡量在不同重叠条件下的检测鲁棒性。

实验结果

研究问题

• RQ1 深度学习框架是否能在无需数据库特定超参数调优的情况下，实现无接触掌纹识别的高精度？
• RQ2 所提出的软偏移三元组损失在非受限环境中成像差异条件下，学习判别性特征的有效性如何？
• RQ3 基于Faster R-CNN的检测器是否能可靠地从复杂动态背景中检测出手部掌纹区域？
• RQ4 所提出的框架是否能在无需微调或重新训练的情况下，有效泛化到不同公开的无接触掌纹数据库？
• RQ5 在低IoU重叠或光照与背景多变等挑战性检测场景下，系统性能如何？

主要发现

• 在公平比较条件下，所提出的框架在公开可用的无接触掌纹数据库上，持续优于经典方法与当前最先进方法。
• 在随机数据划分（策略a）下，模型在IoU阈值为0.35时达到100% mAP和100%召回率，表明检测可靠性极高。
• 即使在严格的IoU阈值0.6下，模型在策略（a）下仍保持98.20% mAP和98.97%召回率，表明定位精度极强。
• 在基于背景的划分（策略b）下，模型在IoU为0.5时达到98.44% mAP和98.78%召回率，显示出对领域偏移的鲁棒性。
• 该系统在无需数据库特定调优的情况下，能有效泛化到不同数据集，而其他方法需此类调优才能达到最佳性能。
• 训练后的掌纹检测器在20,000个周期后收敛，平均每张测试图像处理时间为0.101秒，支持实时部署。