[论文解读] Finger Multimodal Feature Fusion and Recognition Based on Channel Spatial Attention

Jian Guo, Jiaxiang Tu+3 more|arXiv (Cornell University)|Sep 6, 2022

Biometric Identification and Security被引用 4

一句话总结

本文提出了一种融合指纹与手指静脉的多模态生物识别系统，采用通道-空间注意力融合模块（CSAFM），通过动态加权通道与空间维度的特征，增强互补信息的整合。该方法在多个公开的多模态数据集上实现了最先进性能，通过自适应特征融合显著提升了识别准确率。

ABSTRACT

Due to the instability and limitations of unimodal biometric systems, multimodal systems have attracted more and more attention from researchers. However, how to exploit the independent and complementary information between different modalities remains a key and challenging problem. In this paper, we propose a multimodal biometric fusion recognition algorithm based on fingerprints and finger veins (Fingerprint Finger Veins-Channel Spatial Attention Fusion Module, FPV-CSAFM). Specifically, for each pair of fingerprint and finger vein images, we first propose a simple and effective Convolutional Neural Network (CNN) to extract features. Then, we build a multimodal feature fusion module (Channel Spatial Attention Fusion Module, CSAFM) to fully fuse the complementary information between fingerprints and finger veins. Different from existing fusion strategies, our fusion method can dynamically adjust the fusion weights according to the importance of different modalities in channel and spatial dimensions, so as to better combine the information between different modalities and improve the overall recognition performance. To evaluate the performance of our method, we conduct a series of experiments on multiple public datasets. Experimental results show that the proposed FPV-CSAFM achieves excellent recognition performance on three multimodal datasets based on fingerprints and finger veins.

研究动机与目标

• 解决在生物识别系统中有效融合指纹与手指静脉模态之间互补信息的挑战。
• 克服单模态生物识别系统存在的不稳定性与鲁棒性差的局限性。
• 设计一种可学习的融合机制，根据通道与空间维度上的模态特异性相关性，自适应地分配特征重要性。
• 通过统一的、端到端可训练框架，实现多模态生物识别融合，提升整体识别性能。
• 在多个公开数据集上验证所提方法，证明其鲁棒性与泛化能力。

提出的方法

• 首先使用轻量级卷积神经网络（CNN）从单独的指纹与手指静脉图像中提取深层特征。
• 引入通道-空间注意力融合模块（CSAFM），通过学习通道与空间维度上的动态注意力权重来实现特征融合。
• CSAFM模块分别计算通道与空间维度的注意力图，实现在融合前对不同模态的特征进行特异性重校准。
• 融合过程具有可微性，支持端到端训练，使网络能够从数据中学习最优融合策略。
• 将该方法集成到统一框架（FPV-CSAFM）中，联合优化特征提取与融合过程。
• 使用交叉熵损失进行模型训练，并在标准多模态生物识别基准上进行评估。

实验结果

研究问题

• RQ1 如何有效融合指纹与手指静脉模态之间的互补信息，以提升识别准确率？
• RQ2 可学习的注意力机制是否能根据通道与空间维度上模态的重要性，动态调整融合权重？
• RQ3 所提出的CSAFM模块是否优于传统的融合策略，如早期融合、晚期融合或逐元素相加的早期融合？
• RQ4 所提方法在不同多模态生物识别数据集上的泛化能力如何？
• RQ5 通道注意力与空间注意力组件对最终识别性能的贡献分别是什么？

主要发现

• 所提出的FPV-CSAFM模型在三个公开的多模态指纹与手指静脉数据集上实现了最先进识别准确率。
• 联合使用通道与空间注意力相比基线融合方法（包括早期融合与晚期融合）带来了显著的性能提升。
• 消融实验确认，通道注意力与空间注意力组件均对最终融合性能有显著贡献。
• 该模型在多种不同数据集上表现出鲁棒性，表明其具备强大的泛化能力。
• 动态融合机制能有效捕捉模态特异的显著特征，从而改善判别性表征学习。
• 与现有基于注意力的融合方法相比，本方法实现了更高的准确率，验证了所提出CSAFM模块的有效性。