[论文解读] End-to-End Pore Extraction and Matching in Latent Fingerprints: Going Beyond Minutiae

Dinh-Luan Nguyen, Anil K. Jain|arXiv (Cornell University)|May 27, 2019

Biometric Identification and Security参考文献 27被引用 9

一句话总结

本文提出了一种端到端的深度学习框架，用于在高分辨率（1,000 ppi）图像下自动提取并匹配潜在指纹中的毛孔，从而在传统基于特征点的方法之外提升识别性能。该系统在检索和验证任务中实现了微小但具有实际意义的性能提升，尤其在特征点数量适中的情况下表现更优，表明将毛孔作为三级特征与现有匹配器结合时，可作为潜在指纹识别的互补特征。

ABSTRACT

Latent fingerprint recognition is not a new topic but it has attracted a lot of attention from researchers in both academia and industry over the past 50 years. With the rapid development of pattern recognition techniques, automated fingerprint identification systems (AFIS) have become more and more ubiquitous. However, most AFIS are utilized for live-scan or rolled/slap prints while only a few systems can work on latent fingerprints with reasonable accuracy. The question of whether taking higher resolution scans of latent fingerprints and their rolled/slap mate prints could help improve the identification accuracy still remains an open question in the forensic community. Because pores are one of the most reliable features besides minutiae to identify latent fingerprints, we propose an end-to-end automatic pore extraction and matching system to analyze the utility of pores in latent fingerprint identification. Hence, this paper answers two questions in the latent fingerprint domain: (i) does the incorporation of pores as level-3 features improve the system performance significantly? and (ii) does the 1,000 ppi image resolution improve the recognition results? We believe that our proposed end-to-end pore extraction and matching system will be a concrete baseline for future latent AFIS development.

研究动机与目标

• 开发一种用于潜在指纹中自动毛孔提取与匹配的端到端系统，以应对低质量、不完整指纹的挑战。
• 评估将毛孔作为三级特征引入后，是否能显著提升相较于仅使用特征点系统的识别准确率。
• 研究1,000 ppi图像分辨率对潜在指纹匹配性能的影响。
• 评估在婴儿指纹等复杂场景下（如特征点稀疏）基于毛孔的匹配方法的可行性。
• 为未来基于毛孔作为互补特征的潜在指纹自动指纹识别系统（AFIS）建立稳健基线。

提出的方法

• 毛孔提取流程采用自适应阈值化和形态学操作，从预处理后的指纹图像中分离出候选毛孔区域。
• 通过大小和圆形度对连通区域进行提取与筛选，仅保留形态上类似汗孔的区域。
• 采用基于深度学习的特征提取模块，对毛孔的空间分布配置进行编码，以支持匹配任务。
• 设计相似性评分机制，利用提取的毛孔特征计算潜在指纹与滚压指纹模板之间的匹配分数。
• 将毛孔匹配分数与现有的商业现成（COTS）特征点匹配器及基于纹理的匹配器进行分数级融合，以提升整体验证准确率。
• 在NIST SD27（1,000 ppi潜在指纹数据库）和1,900 ppi的婴儿指纹数据库上评估系统性能，以检验其在不同类型和质量指纹上的泛化能力。

实验结果

研究问题

• RQ1 与仅使用特征点的系统相比，将毛孔作为三级特征是否能显著提升潜在指纹识别性能？
• RQ2 将图像分辨率提高到1,000 ppi是否能带来可测量的毛孔提取与匹配准确率提升？
• RQ3 在特征点稀疏的场景（如婴儿指纹）中，基于毛孔的匹配是否能有效补充现有的特征点匹配器？
• RQ4 所提出的毛孔提取流程对潜在指纹中常见的失真和噪声具有多强的鲁棒性？
• RQ5 毛孔、特征点与纹理匹配器之间的分数融合能在多大程度上提升整体验证准确率？

主要发现

• 仅使用毛孔匹配器在婴儿指纹上的TAR（受试者识别率）达到52.94%（FAR=0.1%），优于基于纹理的匹配器（31.37%），但低于COTS-A（72.54%）。
• 将毛孔匹配分数与COTS-A、COTS-B及纹理匹配器进行融合后，婴儿指纹的TAR在FAR=0.1%时提升至88.23%，在FAR=1.0%时提升至94.11%。
• 在NIST SD27数据集中，基于毛孔的匹配仅对仅使用特征点的匹配方式带来微小改进，主要受限于高失真度和毛孔可见度差。
• 毛孔在具有中等数量特征点的潜在指纹中最具优势——既不过少也不过多，此时能提供可靠的对应关系。
• 系统在1,900 ppi的婴儿指纹上表现出良好的泛化能力，且在不同图像质量下均能保持一致的毛孔提取效果。
• 缺乏大规模、高分辨率且背景多样的潜在指纹数据集，仍是制约未来进一步发展的主要瓶颈。