[论文解读] FV-UPatches: Enhancing Universality in Finger Vein Recognition

Ziyan Chen, Jiazhen Liu+3 more|arXiv (Cornell University)|Jun 2, 2022

Biometric Identification and Security被引用 4

一句话总结

该论文提出FV-UPatches，一种通用指静脉识别框架，通过使用压缩U-Net将多样化指静脉数据分布映射到统一目标域，从而提升模型泛化能力，实现在无需微调的情况下跨数据集部署。该方法在五个公开数据集上仅需一次训练且使用有限训练数据即达到最先进性能，利用预训练的SOSNet在目标域中进行局部特征匹配。

ABSTRACT

Many deep learning-based models have been introduced in finger vein recognition in recent years. These solutions, however, suffer from data dependency and are difficult to achieve model generalization. To address this problem, we are inspired by the idea of domain adaptation and propose a universal learning-based framework, which achieves generalization while training with limited data. To reduce differences between data distributions, a compressed U-Net is introduced as a domain mapper to map the raw region of interest image onto a target domain. The concentrated target domain is a unified feature space for the subsequent matching, in which a local descriptor model SOSNet is employed to embed patches into descriptors measuring the similarity of matching pairs. In the proposed framework, the domain mapper is an approximation to a specific extraction function thus the training is only a one-time effort with limited data. Moreover, the local descriptor model can be trained to be representative enough based on a public dataset of non-finger-vein images. The whole pipeline enables the framework to be well generalized, making it possible to enhance universality and helps to reduce costs of data collection, tuning and retraining. The comparable experimental results to state-of-the-art (SOTA) performance in five public datasets prove the effectiveness of the proposed framework. Furthermore, the framework shows application potential in other vein-based biometric recognition as well.

研究动机与目标

• 解决基于深度学习的指静脉识别模型因数据分布偏移而在不同数据集间泛化能力差的问题。
• 减少在新数据集或设备上部署模型时对大量微调和调参的依赖。
• 开发一种通用框架，在极少数据和单次训练阶段下保持高性能。
• 探索将基于非指静脉数据训练的特征描述子模型迁移至真实指静脉识别任务的可行性。
• 实现高效、低延迟的部署，适用于移动或嵌入式生物识别系统。

提出的方法

• 使用压缩U-Net作为域映射器，将原始指静脉图像转换为统一的目标特征域，最小化不同数据集间的分布偏移。
• 利用手工设计的形态学特征作为监督信号训练U-Net，近似传统纹路提取函数，以提升泛化能力。
• 在目标域中使用预训练的SOSNet局部描述子模型，提取具有区分性的局部块特征用于匹配。
• 首先在公开的非指静脉数据集上训练描述子模型，以确保其表征能力，且无需依赖稀缺的指静脉数据。
• 该框架分为两个阶段：首先通过U-Net进行域映射，然后在统一的目标空间中使用SOSNet进行基于相似度的匹配。
• 整个流程仅需一次训练，即可在不微调的情况下重复用于不同数据集，实现无需重训练的部署。

实验结果

研究问题

• RQ1 基于深度学习的框架是否能在无需微调的情况下，在多样化指静脉数据集中实现通用性能？
• RQ2 压缩U-Net作为域映射器，在将不同指静脉数据分布对齐至统一特征空间方面效果如何？
• RQ3 在非指静脉数据上训练的局部描述子模型在指静脉识别任务中的泛化能力达到何种程度？
• RQ4 在所提框架中，计算效率、内存使用与识别准确率之间的权衡关系如何？
• RQ5 在跨会话评估中，该框架是否能保持高性能，从而模拟真实世界部署场景？

主要发现

• FV-UPatches框架在五个公开指静脉数据集上仅通过一次、单次训练即达到最先进性能，且无需微调。
• 系统展现出强大的跨会话泛化能力，在长达六个月间隔采集的图像对上仍保持有效性。
• 单样本推理时间为129ms，其中38ms用于纹路提取，91ms用于识别，表明其高效性，适合实时部署。
• 内存使用极低，仅1.73M参数，显著低于VGG16、ResNet-152和DenseNet-161，提升了在边缘设备上的可部署性。
• 敏感性分析表明，增大缩减窗口大小（c）会轻微降低性能但提升运行速度；而增大关键点尺度（ks）则引入噪声并降低匹配准确率。
• 该框架在多样化数据集中均保持高性能，证明其通用性，具备跨设备和跨生物特征应用的潜力。