[论文解读] Biometrics Recognition Using Deep Learning: A Survey

Shervin Minaee, AmirAli Abdolrashidi+3 more|arXiv (Cornell University)|Nov 30, 2019

Biometric Identification and Security被引用 7

一句话总结

本综述对深度学习在生物特征识别中的应用进行了全面分析，涵盖120余项关于人脸、指纹、虹膜、语音、签名、步态及其他模态的研究。它评估了深度学习模型在公开基准上的性能，讨论了少样本学习和隐私等挑战，并展望了未来方向，包括多模态融合以及实时、内存高效的架构。

ABSTRACT

Deep learning-based models have been very successful in achieving state-of-the-art results in many of the computer vision, speech recognition, and natural language processing tasks in the last few years. These models seem a natural fit for handling the ever-increasing scale of biometric recognition problems, from cellphone authentication to airport security systems. Deep learning-based models have increasingly been leveraged to improve the accuracy of different biometric recognition systems in recent years. In this work, we provide a comprehensive survey of more than 120 promising works on biometric recognition (including face, fingerprint, iris, palmprint, ear, voice, signature, and gait recognition), which deploy deep learning models, and show their strengths and potentials in different applications. For each biometric, we first introduce the available datasets that are widely used in the literature and their characteristics. We will then talk about several promising deep learning works developed for that biometric, and show their performance on popular public benchmarks. We will also discuss some of the main challenges while using these models for biometric recognition, and possible future directions to which research in this area is headed.

研究动机与目标

• 提供截至2019年的生物特征识别中深度学习应用的全面、最新综述。
• 分析深度学习模型在多种生物特征模态（包括人脸、指纹、虹膜、掌纹、耳部、语音、签名和步态）上的性能表现。
• 识别关键挑战，如少样本学习、模型效率、安全性和隐私问题。
• 探索未来研究方向，包括多模态融合、实时推理以及对抗性攻击和欺骗攻击的鲁棒性。
• 强调大规模数据集的作用，并指出需要更具挑战性的基准以推动该领域发展。

提出的方法

• 系统性地回顾了120余篇关于多模态深度学习生物特征识别的近期研究。
• 对各类生物特征类型所采用的深度学习架构（包括卷积神经网络、Siamese网络和度量学习模型）进行分类与分析。
• 在CASIA-WebQ、IIT-OpenSet和LIVReb等标准公开基准上评估模型性能。
• 讨论了少样本学习和自监督学习技术，以减少对大规模标注数据的依赖。
• 探索了在数据、特征、评分和决策层面的生物特征融合策略，以提升系统鲁棒性。
• 回顾了模型压缩和知识蒸馏技术，以实现在内存受限设备上的部署。

Figure 1: Sample images for various biometrics. The images in the first to sixth rows denote samples from face, fingerprint, iris, palmprint, ear, and gait respectively casia_gaitA ; yaleb ; polyU_finger ; polyu_palm ; kumar2010comparison ; iit_ear .

实验结果

研究问题

• RQ1 在不同生物特征模态中，深度学习模型与传统手工设计特征方法相比，性能表现如何？
• RQ2 在生物特征识别任务中，哪些深度学习架构和训练策略最为有效？
• RQ3 在真实应用场景中部署生物特征系统时仍面临哪些挑战，特别是少样本学习和模型效率方面？
• RQ4 多模态生物特征融合如何提升识别准确率和鲁棒性，特别是在同卵双胞胎或伪装身份等复杂情况下？
• RQ5 深度生物特征系统面临的主要安全与隐私威胁是什么，如何加以缓解？

主要发现

• 深度学习模型在生物特征识别任务中显著优于传统方法，尤其在CASIA-WebQ和IIT-OpenSet等大规模数据集上表现突出。
• 由于数据集丰富和工业需求推动，人脸识别进展最为显著，在基准测试中已接近人类水平的识别准确率。
• 自监督学习和少样本学习方法在减少数据依赖方面展现出潜力，但在生物特征识别领域仍研究不足。
• 在特征层或决策层进行生物特征融合可显著提升系统可靠性，尤其在单一模态失效时（如伪装人脸或同卵双胞胎）。
• 内存高效且支持实时推理的模型对于设备端部署至关重要，知识蒸馏是模型压缩的关键技术。
• 对抗性攻击和模板攻击等安全威胁仍是主要担忧，目前尚缺乏足够鲁棒的防欺骗解决方案。

Figure 2: The block-diagram of most of classical biometric recognition algorithms.