[논문 리뷰] Minutiae-Guided Fingerprint Embeddings via Vision Transformers

Steven A. Grosz, Joshua J. Engelsma외 5명|arXiv (Cornell University)|2022. 10. 25.

Biometric Identification and Security인용 수 9

한 줄 요약

이 논문은 정확도와 효율성을 향상시키기 위해 미니티아 특징을 기반으로 한 비전 트랜스포머(ViT) 기반 지문 임베딩 모델을 제안한다. 도메인 특화된 미니티아 감독을 ViT 입력에 통합함으로써, NIST SD30에서 near-state-of-the-art 성능(TAR=94.23% @ FAR=0.1%)을 달성하고 기존 상용 시스템보다 50배 빠른 매칭(초당 250만 건)을 가능하게 한다.

ABSTRACT

Minutiae matching has long dominated the field of fingerprint recognition. However, deep networks can be used to extract fixed-length embeddings from fingerprints. To date, the few studies that have explored the use of CNN architectures to extract such embeddings have shown extreme promise. Inspired by these early works, we propose the first use of a Vision Transformer (ViT) to learn a discriminative fixed-length fingerprint embedding. We further demonstrate that by guiding the ViT to focus in on local, minutiae related features, we can boost the recognition performance. Finally, we show that by fusing embeddings learned by CNNs and ViTs we can reach near parity with a commercial state-of-the-art (SOTA) matcher. In particular, we obtain a TAR=94.23% @ FAR=0.1% on the NIST SD 302 public-domain dataset, compared to a SOTA commercial matcher which obtains TAR=96.71% @ FAR=0.1%. Additionally, our fixed-length embeddings can be matched orders of magnitude faster than the commercial system (2.5 million matches/second compared to 50K matches/second). We make our code and models publicly available to encourage further research on this topic: https://github.com/tba.

연구 동기 및 목표

• 기존의 미니티아 기반 매칭에 의존하지 않고, 비전 트랜스포머(ViT)를 활용해 고정 길이의 지문 임베딩을 학습하는 방법을 탐색한다.
• 유도된 어텐션과 입력 수준의 감독을 통해 지문의 미니티아를 인덕티브 바이어스로 통합함으로써 ViT 성능을 향상시킨다.
• ViT 기반 임베딩과 CNN 기반 임베딩 간의 상호보완성을 입증하고, 융합을 통해 성능 향상을 이룬다.
• 고정밀도를 유지하면서도 상용 미니티아 기반 시스템보다 훨씬 빠른 매칭 속도를 달성한다.

제안 방법

• 대tricative learning 목적함수를 사용하여 지문 이미지에서 고정 길이의 임베딩을 학습하기 위해 비전 트랜스포머(ViT)를 훈련한다.
• 지문의 릿지 이미지와 미니티아 위치 및 방향을 인코딩한 2채널 맵을 연결하여 미니티아 유도 입력 표현을 도입한다.
• 훈련 중에 ViT가 미니티아의 공간 분포와 일치하도록 어텐션 및 특징 학습을 유도하는 디스티illation 손실을 적용한다.
• 비트리미티드 임베딩을 ViT와 CNN(ResNet-50)의 후기 평균 융합을 통해 상호보완적인 특징을 통합한다.
• 임베딩의 분류 능력을 향상시키기 위해 하드 음성 마이닝을 포함한 대비 학습 프레임워크를 사용한다.
• 표준 지문 인식 벤치마크(NIST SD30, SD4, SD14 데이터셋)를 사용하여 폐쇄세트 및 개방세트 프로토콜 모두에서 성능을 평가한다.

실험 결과

연구 질문

• RQ1 기존의 미니티아 기반 매칭에 의존하지 않고 지문 이미지에서 훈련된 비전 트랜스포머(ViT)가 경쟁 가능한 지문 인식 성능을 달성할 수 있는가?
• RQ2 ViT 입력에 지문의 미니티아 도메인 지식을 통합함으로써 정확도와 내성성에 어떤 영향을 미치는가?
• RQ3 ViT와 CNN 모델이 학습한 특징은 상호보완적인가? 즉, 융합을 통해 전체 성능 향상이 가능한가?
• RQ4 ViT 기반 임베딩은 고정밀도를 유지하면서도 상용 미니티아 기반 시스템보다 훨씬 빠른 매칭 속도를 제공할 수 있는가?

주요 결과

• 미니티아 유도 ViT는 NIST SD30 데이터셋에서 FAR=0.1%일 때 TAR=94.23%를 달성하여 상용 SOTA 매처(96.71%)에 근접한 성능을 보였다.
• 폐쇄세트 식별에서 미니티아 감독을 통해 미세조정된 ViT는 일반 ViT 및 ResNet-50 베이스라인을 모두 초월했다.
• 개방세트 식별에서 미니티아 디스티illation된 ViT는 일반 ViT를 능가했으며, 여러 FPIR 운영 지점에서 ResNet-50와 동등하거나 슈퍼어리어했다.
• ViT와 CNN 임베딩의 융합은 최고의 성능을 기록했으며, 두 아키텍처 간의 상호보완적 특징 학습을 입증했다.
• ViT 기반 시스템은 1초에 250만 건의 매칭을 수행하여 상용 시스템(초당 5만 건) 대비 50배 빠른 속도를 기록했다.
• 활성도 맵 시각화 결과, 미니티아 유도 ViT는 CNN이 큰 이미지 영역을 忽略하는 것과 달리 지문 이미지의 더 많은 부분에 집중하고, 특히 손상된 경우에도 국소 특징에 주목함을 확인했다.