[논문 리뷰] Finger Multimodal Feature Fusion and Recognition Based on Channel Spatial Attention

Jian Guo, Jiaxiang Tu외 3명|arXiv (Cornell University)|2022. 09. 06.

Biometric Identification and Security인용 수 4

한 줄 요약

이 논문은 채널 및 공간 차원에서 특징을 동적으로 가중치를 매겨 보완 정보 통합을 향상시키는 채널 공간 주의 병합 모듈(Channnel Spatial Attention Fusion Module, CSAFM)을 사용하여 지문과 손가락 정맥을 융합하는 다중모odal 생체인식 시스템을 제안한다. 이 방법은 여러 공개 다중모달 데이터셋에서 최신 기술 수준의 성능을 달성하며, 적응형 특징 융합을 통해 뛰어난 인식 정확도를 보여준다.

ABSTRACT

Due to the instability and limitations of unimodal biometric systems, multimodal systems have attracted more and more attention from researchers. However, how to exploit the independent and complementary information between different modalities remains a key and challenging problem. In this paper, we propose a multimodal biometric fusion recognition algorithm based on fingerprints and finger veins (Fingerprint Finger Veins-Channel Spatial Attention Fusion Module, FPV-CSAFM). Specifically, for each pair of fingerprint and finger vein images, we first propose a simple and effective Convolutional Neural Network (CNN) to extract features. Then, we build a multimodal feature fusion module (Channel Spatial Attention Fusion Module, CSAFM) to fully fuse the complementary information between fingerprints and finger veins. Different from existing fusion strategies, our fusion method can dynamically adjust the fusion weights according to the importance of different modalities in channel and spatial dimensions, so as to better combine the information between different modalities and improve the overall recognition performance. To evaluate the performance of our method, we conduct a series of experiments on multiple public datasets. Experimental results show that the proposed FPV-CSAFM achieves excellent recognition performance on three multimodal datasets based on fingerprints and finger veins.

연구 동기 및 목표

• 생체인식 시스템에서 지문과 손가락 정맥 모odal 간의 보완 정보를 효과적으로 융합하는 문제를 해결하기 위해.
• 안정성 부족과 낮은 강건성으로 인해 문제가 되는 단모달 생체인식 시스템의 한계를 극복하기 위해.
• 채널 및 공간 차원에서 모달 특성에 따라 중요도를 적응적으로 할당하는 학습 가능한 융합 기반 기법을 설계하기 위해.
• 통합된 엔드 투 엔드 학습 가능한 프레임워크를 통해 전체 인식 성능을 향상시키기 위해.
• 다양한 공개 데이터셋에서 제안된 방법을 검증하여 강건성과 일반화 능력을 입증하기 위해.

제안 방법

• 먼저 경량화된 컨volutional 신경망(CNN)을 사용하여 개별 지문 및 손가락 정맥 이미지에서 깊이 있는 특징을 추출한다.
• 채널 및 공간 차원에서 동적으로 주의 가중치를 학습하여 특징을 융합하기 위해 채널 공간 주의 병합 모듈(CSAFM)을 도입한다.
• CSAFM 모듈은 채널 및 공간 차원에 대해 별도의 주의 맵을 계산하여 융합 이전에 모달 특성 재조정을 가능하게 한다.
• 융합 과정은 미분 가능하고 엔드 투 엔드로 학습 가능하여 네트워크가 데이터로부터 최적의 융합 전략을 학습할 수 있다.
• 특징 추출과 융합을 동시에 최적화하는 통합 프레임워크(FPV-CSAFM)에 방법을 통합한다.
• 모델은 교차 엔트로피 손실을 사용하여 훈련하고 표준 다중모달 생체인식 벤치마크에서 평가된다.

실험 결과

연구 질문

• RQ1 지문과 손가락 정맥 모달 간의 보완 정보를 효과적으로 융합하여 인식 정확도를 향상시킬 수 있는가?
• RQ2 학습 가능한 주의 메커니즘이 채널 및 공간 차원에서 모달 중요도에 따라 융합 가중치를 동적으로 조정할 수 있는가?
• RQ3 제안된 CSAFM 모듈이 요소별 덧셈을 사용한 초기 융합, 후기 융합 또는 일반 융합 전략보다 우수한 성능을 보일 수 있는가?
• RQ4 제안된 방법이 다양한 다중모달 생체인식 데이터셋에서 일반화되는가?
• RQ5 채널 및 공간 주의 구성 요소가 최종 인식 성능에 기여하는 정도는 어느 정도인가?

주요 결과

• 제안된 FPV-CSAFM 모델은 세 개의 공개 다중모달 지문 및 손가락 정맥 데이터셋에서 최신 기술 수준의 인식 정확도를 달성한다.
• 채널 및 공간 주의를 동시에 사용함으로써 초기 및 후기 융합과 같은 기준 융합 방법에 비해 성능 향상이 뚜렷하게 나타난다.
• 제거 실험을 통해 채널 및 공간 주의 구성 요소가 최종 융합 성능에 의미 있는 기여를 한다는 것이 확인된다.
• 다양한 데이터셋에서 강건성을 보이며, 뛰어난 일반화 능력을 나타낸다.
• 동적 융합 기반 기법은 모달 고유의 주목할 만한 특징을 효과적으로 포착하여 분류 표현 학습을 향상시킨다.
• 이전의 주의 기반 융합 접근법보다 더 높은 정확도를 달성하여 제안된 CSAFM 모듈의 효과성을 입증한다.