[论文解读] Latent fingerprint minutia extraction using fully convolutional network

Yao Tang, Fei Gao+1 more|arXiv (Cornell University)|Sep 30, 2016

Biometric Identification and Security参考文献 15被引用 3

一句话总结

本文提出一种基于全卷积网络（FCN）的方法，实现端到端的潜在指纹纹线特征点提取，跳过传统预处理步骤。通过生成像素级纹线特征点得分图，并利用共享卷积神经网络（CNN）进行分类与方向回归以优化预测，该方法在NIST SD27数据集上实现了53%的召回率和53%的精确率，优于先前方法，同时通过特征可视化保持了脊线结构。

ABSTRACT

Minutiae play a major role in fingerprint identification. Extracting reliable minutiae is difficult for latent fingerprints which are usually of poor quality. As the limitation of traditional handcrafted features, a fully convolutional network (FCN) is utilized to learn features directly from data to overcome complex background noises. Raw fingerprints are mapped to a correspondingly-sized minutia-score map with a fixed stride. And thus a large number of minutiae will be extracted through a given threshold. Then small regions centering at these minutia points are entered into a convolutional neural network (CNN) to reclassify these minutiae and calculate their orientations. The CNN shares convolutional layers with the fully convolutional network to speed up. 0.45 second is used on average to detect one fingerprint on a GPU. On the NIST SD27 database, we achieve 53\% recall rate and 53\% precise rate that outperform many other algorithms. Our trained model is also visualized to show that we have successfully extracted features preserving ridge information of a latent fingerprint.

研究动机与目标

• 解决在低质量潜在指纹中可靠提取纹线特征点的挑战，此类指纹在传统手工设计特征方法下常表现不佳。
• 通过直接从原始指纹图像学习特征，消除对手动分割、增强或预处理的依赖。
• 通过将纹线特征点建模为点检测任务，并联合回归其位置与方向，提升检测准确性。
• 实现端到端学习鲁棒的纹线特征描述子，以保持脊线结构并降低对噪声的敏感性。

提出的方法

• 全卷积网络（FCN）将原始指纹映射为步长固定为16的纹线特征点得分图，基于学习到的得分生成像素级候选区域。
• 通过设定阈值对候选区域进行过滤，以识别潜在的纹线特征点位置，并使用位置回归作为多任务损失以提升空间定位精度。
• 共享卷积神经网络（CNN）用于将候选区域分类为真实纹线特征点，并通过多任务损失层回归其方向。
• FCN与CNN共享早期卷积层，以加速推理过程并确保各阶段间特征的一致性。
• 通过激活重建的特征可视化方法，证实网络能够学习并保留潜在指纹中的脊线与谷线模式。
• 模型在原始指纹图像上进行端到端训练，损失函数结合了分类损失、位置回归损失与方向回归损失。

实验结果

研究问题

• RQ1 全卷积网络能否在无需分割或增强处理的情况下，直接从低质量、原始的潜在指纹图像中有效生成可靠的纹线特征点候选？
• RQ2 通过深度神经网络实现纹线特征点描述子的端到端学习，是否在噪声大、背景复杂的条件下优于手工设计特征方法？
• RQ3 与仅使用分类相比，联合回归位置与方向在多大程度上提升了纹线特征点检测的准确性？
• RQ4 所学习的特征是否能够有效保留脊线结构，并在具有挑战性的潜在指纹条件下区分真实纹线特征点与误报？

主要发现

• 所提方法在NIST SD27数据库上实现了53%的召回率与53%的精确率，优于多种现有算法。
• 模型在GPU上平均仅需0.45秒即可处理一张指纹，表现出较高的效率。
• 消融实验表明，若移除位置回归，召回率与精确率分别降至50.0%与49.7%，表明其对定位精度至关重要。
• 若移除方向回归，召回率与精确率分别提升至55.0%与55.4%，表明方向过滤有助于减少误报。
• 可视化结果证实，网络能够学习并提取与保留脊线与谷线结构，且在潜在指纹上微调后性能有显著提升。
• 在NIST SD27的129张潜在指纹上评估时，该方法的识别性能优于mindtct与基于Gabor&CNN的方法。