[论文解读] Automatic Cropping Fingermarks: Latent Fingerprint Segmentation.

Dinh-Luan Nguyen, Kai Cao+1 more|arXiv (Cornell University)|Apr 25, 2018

Biometric Identification and Security参考文献 8被引用 2

一句话总结

本文提出 SegFinNet，一种全卷积神经网络，通过一次处理整幅图像实现端到端的潜在指纹分割，结合了 U-Net 和基于检测的架构。该方法在 NIST SD27、WVU 和一个实际法医数据库上均达到最先进性能，将每张潜在指纹的分割时间缩短至 500 毫秒以内，并提升了后续指纹匹配器的命中率。

ABSTRACT

We present a simple but effective method for automatic latent fingerprint segmentation, called SegFinNet. SegFinNet takes a latent image as an input and outputs a binary mask highlighting the friction ridge pattern. Our algorithm combines fully convolutional neural network and detection-based approach to process the entire input latent image in one shot instead of using latent patches. Experimental results on three different latent databases (i.e. NIST SD27, WVU, and an operational forensic database) show that SegFinNet outperforms both human markup for latents and the state-of-the-art latent segmentation algorithms. Our latent segmentation algorithm takes on average 457 (NIST SD27) and 361 (WVU) msec/latent on Nvidia GTX Ti 1080 with 12GB memory machine. We show that this improved cropping, in turn, boosts the hit rate of a latent fingerprint matcher.

研究动机与目标

• 为解决法医应用中潜在指纹手动分割不一致且耗时的问题。
• 开发一种自动化方法，以高精度和高效率分割潜在指纹的摩擦嵴图案。
• 在多样化的潜在指纹数据库上，超越现有最先进分割算法和人工标注的真值。
• 在保持或提升分割质量的同时，减少每张潜在图像的处理时间。
• 通过提升分割精度，增强下游指纹匹配性能。

提出的方法

• SegFinNet 采用全卷积神经网络架构，通过一次前向传播处理整幅潜在指纹图像，避免基于图像块的处理方式。
• 其结构融合了类似 U-Net 的编码器-解码器结构，用于密集特征学习，并通过跳跃连接保留空间细节。
• 网络采用基于检测的头部来定位摩擦嵴区域，实现精确的边界预测。
• 模型通过在摩擦嵴图案真值二值掩码上使用二元交叉熵损失进行端到端训练。
• 推理过程仅需一次前向传播，可在标准 GPU 硬件上实现实时处理。
• 该方法在三个不同数据库上进行了评估：NIST SD27、WVU 和一个实际法医数据库。

实验结果

研究问题

• RQ1 深度学习模型是否能在潜在指纹分割精度上超越人类专家和现有最先进方法？
• RQ2 单次、整图处理方法在速度和精度上是否优于基于图像块的分割策略？
• RQ3 改进的分割在多大程度上提升了潜在指纹匹配器的命中率？
• RQ4 该方法在标准 GPU 硬件上的推理时间效率如何？
• RQ5 该模型在图像质量与复杂度各异的多样化潜在指纹数据库上是否具备良好的泛化能力？

主要发现

• SegFinNet 在所有三个测试数据库（NIST SD27、WVU 和一个实际法医数据库）上均优于人工标注的真值和最先进分割算法。
• 在使用 NVIDIA GTX Titan X 1080（12GB 内存）的环境下，SegFinNet 在 NIST SD27 上的平均推理时间为每张 457 毫秒，在 WVU 上为每张 361 毫秒。
• 分割精度的提升直接转化为潜在指纹匹配器命中率的可测量提升。
• 该模型通过一次处理整张潜在指纹图像，消除了基于图像块处理的需求，降低了计算开销。
• 基于检测的头部显著提升了在低质量或噪声区域的定位精度。
• 该方法在多样化法医数据库上表现出强大的泛化能力，包括真实世界的应用数据。