[论文解读] A Universal Latent Fingerprint Enhancer Using Transformers

André Brasil Vieira Wyzykowski, Anil K. Jain|arXiv (Cornell University)|May 31, 2023

Biometric Identification and Security被引用 4

一句话总结

该论文提出ULPrint，一种基于两阶段Transformer方法的通用潜在指纹增强器，结合UNet与空洞卷积的混合视觉Transformer（SegFormer-B5），以提升脊线分割与图像质量。该方法达到最先进性能，在NIST SD27上将MSU-AFIS识别准确率从61.56%提升至75.19%，在MSP Latent上从67.63%提升至77.02%，在NIST SD302上从46.90%提升至52.12%，优于Verifinger SDK 12.4。

ABSTRACT

Forensic science heavily relies on analyzing latent fingerprints, which are crucial for criminal investigations. However, various challenges, such as background noise, overlapping prints, and contamination, make the identification process difficult. Moreover, limited access to real crime scene and laboratory-generated databases hinders the development of efficient recognition algorithms. This study aims to develop a fast method, which we call ULPrint, to enhance various latent fingerprint types, including those obtained from real crime scenes and laboratory-created samples, to boost fingerprint recognition system performance. In closed-set identification accuracy experiments, the enhanced image was able to improve the performance of the MSU-AFIS from 61.56\% to 75.19\% in the NIST SD27 database, from 67.63\% to 77.02\% in the MSP Latent database, and from 46.90\% to 52.12\% in the NIST SD302 database. Our contributions include (1) the development of a two-step latent fingerprint enhancement method that combines Ridge Segmentation with UNet and Mix Visual Transformer (MiT) SegFormer-B5 encoder architecture, (2) the implementation of multiple dilated convolutions in the UNet architecture to capture intricate, non-local patterns better and enhance ridge segmentation, and (3) the guided blending of the predicted ridge mask with the latent fingerprint. This novel approach, ULPrint, streamlines the enhancement process, addressing challenges across diverse latent fingerprint types to improve forensic investigations and criminal justice outcomes.

研究动机与目标

• 为解决法医学调查中低质量且多变的潜在指纹带来的挑战，此类指纹常因噪声、污染和部分印迹导致识别困难。
• 克服真实犯罪现场指纹数据库稀缺且难以获取的问题，以限制算法开发与基准测试。
• 通过开发一种自动化、通用的增强方法，减少人工偏见与工作量，提升各类指纹类型下的识别准确率。
• 构建一个稳健且可泛化的增强框架，在真实世界与实验生成的潜在指纹上均表现良好，确保更广泛的法医学适用性。
• 通过整合视觉Transformer与空洞卷积等先进深度学习架构，提升脊线结构恢复能力，从而提高指纹识别系统的可靠性与效率。

提出的方法

• 该方法采用两阶段流程：首先利用改进的UNet结合多尺度空洞卷积，捕捉非局部且复杂的脊线模式，实现脊线分割。
• 其次，使用混合视觉Transformer（MiT）编码器，特别是SegFormer-B5，以增强特征表示与分割精度。
• 随后，将预测的脊线掩码引导性地与原始潜在指纹图像融合，以在增强脊线清晰度的同时保留纹理与结构细节。
• 该架构在UNet编码器中集成空洞卷积，以扩大感受野，提升对细小、不连续脊线结构的分割能力。
• 模型在真实犯罪现场（NIST SD27、MSP Latent）与实验生成（NIST SD302）数据库的组合数据上进行端到端训练，确保在各类指纹类型上的泛化能力。
• 评估遵循NIST ELFT-EFS协议，采用闭集1:N识别，以10万个滚压指纹作为图库，并使用NFIQ 2进行图像质量评估。

实验结果

研究问题

• RQ1 基于深度学习的增强方法是否能普遍提升真实犯罪现场与实验环境下各类潜在指纹的质量与可识别性？
• RQ2 空洞卷积与视觉Transformer的结合相较于标准UNet或CNN方法，在脊线分割方面有何改进？
• RQ3 将脊线掩码与原始图像进行引导融合，在不引入伪影的前提下，对识别准确率的提升程度如何？
• RQ4 在闭集识别任务中，该方法是否优于现有商业级与研究级指纹增强工具（如Verifinger SDK 12.4）？
• RQ5 该方法是否能在图像质量与复杂度各异的多个基准数据库上实现一致的性能提升？

主要发现

• 在NIST SD27数据库上，ULPrint将MSU-AFIS识别准确率从61.56%提升至75.19%，提升13.63个百分点。
• 在MSP Latent数据库上，识别准确率从67.63%提升至77.02%，提升9.39个百分点。
• 在NIST SD302数据库上，准确率从46.90%提升至52.12%，提升5.22个百分点。
• 增强后NFIQ 2质量得分显著提高：NIST SD27上均值从20.04升至26.62，MSP Latent上从9.47升至15.91，NIST SD302上从4.67升至16.31。
• 该方法优于Verifinger V12.4 SDK，后者在NIST SD27上仅达27.51%，在MSP Latent上为55.06%，证实其优越性。
• 视觉对比显示，ULPrint生成的增强结果在保留图像细节方面优于FingerNet，且在各类潜在指纹中均呈现更清晰、更一致的脊线结构。