[논문 리뷰] A Universal Latent Fingerprint Enhancer Using Transformers

André Brasil Vieira Wyzykowski, Anil K. Jain|arXiv (Cornell University)|2023. 05. 31.

Biometric Identification and Security인용 수 4

한 줄 요약

이 논문은 두 단계의 트랜스포머 기반 방법을 사용하는 유니버설 래디언스 지문 향상 기법 ULPrint를 제안한다. 이는 UNet과 확장된 컨볼루션(convolutions)을 조합한 것으로, 고리 구조 분할과 이미지 품질 향상을 위해 설계되었다. 이는 상태의 기술 수준을 달성하여 NIST SD27에서 MSU-AFIS 식별 정확도를 61.56%에서 75.19%로 향상시키며, MSP Latent에서는 67.63%에서 77.02%로, NIST SD302에서는 46.90%에서 52.12%로 향상되었으며, Verifinger SDK 12.4를 능가한다.

ABSTRACT

Forensic science heavily relies on analyzing latent fingerprints, which are crucial for criminal investigations. However, various challenges, such as background noise, overlapping prints, and contamination, make the identification process difficult. Moreover, limited access to real crime scene and laboratory-generated databases hinders the development of efficient recognition algorithms. This study aims to develop a fast method, which we call ULPrint, to enhance various latent fingerprint types, including those obtained from real crime scenes and laboratory-created samples, to boost fingerprint recognition system performance. In closed-set identification accuracy experiments, the enhanced image was able to improve the performance of the MSU-AFIS from 61.56\% to 75.19\% in the NIST SD27 database, from 67.63\% to 77.02\% in the MSP Latent database, and from 46.90\% to 52.12\% in the NIST SD302 database. Our contributions include (1) the development of a two-step latent fingerprint enhancement method that combines Ridge Segmentation with UNet and Mix Visual Transformer (MiT) SegFormer-B5 encoder architecture, (2) the implementation of multiple dilated convolutions in the UNet architecture to capture intricate, non-local patterns better and enhance ridge segmentation, and (3) the guided blending of the predicted ridge mask with the latent fingerprint. This novel approach, ULPrint, streamlines the enhancement process, addressing challenges across diverse latent fingerprint types to improve forensic investigations and criminal justice outcomes.

연구 동기 및 목표

• 범죄 현장에서의 낮은 품질과 변동성이 큰 잠재 지문으로 인해 소음, 오염, 부분적인 인식 등으로 인해 정확한 식별이 어려운 문제를 해결하기 위해.
• 실제 범죄 현장 지문 데이터베이스의 부족과 접근성 제한으로 인해 알고리즘 개발과 평가 기준 수립이 제한되는 문제를 해결하기 위해.
• 다양한 지문 유형에서 식별 정확도를 향상시키기 위해 인간의 편향과 작업 부담을 줄이기 위한 자동화된, 보편적인 향상 방법을 개발하기 위해.
• 실제 세계와 실험실에서 생성된 잠재 지문 모두에서 잘 작동하는 견고하고 일반화 가능한 향상 프레임워크를 구축하여 더 넓은 형사 적용 가능성을 확보하기 위해.
• 비전 트랜스포머와 확장된 컨볼루션 같은 고급 딥러닝 아키텍처를 통합하여 고리 구조 복원 성능을 향상시켜 지문 식별 시스템의 신뢰성과 효율성을 제고하기 위해.

제안 방법

• 이 방법은 두 단계의 파이프라인을 사용한다: 첫 번째로, 비국소적이고 복잡한 고리 패턴을 포착하기 위해 다수의 확장된 컨볼루션을 적용한 수정된 UNet을 사용해 고리 분할을 수행한다.
• 두 번째로, 고리 마스크는 특히 SegFormer-B5를 사용한 믹스 비전 트랜스포머(MiT) 인코더를 통해 특징 표현과 분할 정확도를 향상시킨다.
• 예측된 고리 마스크는 원본 잠재 지문 이미지와 유도적으로 혼합되어 질감과 구조적 세부 정보를 유지하면서도 고리 선명도를 향상시킨다.
• UNet 인코더에 확장된 컨볼루션을 통합하여 수감 영역을 확장하고 미세하고 끊어진 고리 구조의 분할 성능을 향상시킨다.
• 모델은 실제 범죄 현장(NIST SD27, MSP Latent)과 실험실에서 생성된(NIST SD302) 데이터베이스의 조합을 기반으로 엔드 투 엔드로 훈련되어 다양한 지문 유형에 대한 일반화 능력을 확보한다.
• 평가 기준은 NIST ELFT-EFS 프로토콜을 따르며, 갤러리로 100,000개의 롤드 지문을 사용한 클로즈드 세트 1:N 식별과 NFIQ 2를 통한 이미지 품질 평가를 수행한다.

실험 결과

연구 질문

• RQ1 딥러닝 기반의 향상 방법이 실제 범죄 현장과 실험실 환경에서 다양한 유형의 잠재 지문의 품질과 식별 가능성에 보편적으로 향상시킬 수 있는가?
• RQ2 확장된 컨볼루션과 비전 트랜스포머의 통합이 표준 UNet이나 CNN 기반 접근 방식에 비해 고리 분할 성능을 얼마나 향상시키는가?
• RQ3 원본 이미지와 고리 마스크를 유도적으로 혼합하는 방식이 아티팩트를 유발하지 않으면서도 식별 정확도를 얼마나 향상시키는가?
• RQ4 제안된 방법이 Verifinger SDK 12.4와 같은 기존 상용 및 연구용 지문 향상 도구보다 클로즈드 세트 식별 작업에서 뛰어나게 성능을 내는가?
• RQ5 이 방법이 품질과 복잡도가 다양한 여러 벤치마크 데이터베이스에서 일관된 성능 향상을 달성할 수 있는가?

주요 결과

• ULPrint는 NIST SD27 데이터베이스에서 MSU-AFIS 식별 정확도를 61.56%에서 75.19%로 향상시켜 13.63%포인트 향상되었다.
• MSP Latent 데이터베이스에서는 정확도가 67.63%에서 77.02%로 상승하여 9.39%포인트 향상되었다.
• NIST SD302 데이터베이스에서는 정확도가 46.90%에서 52.12%로 상승하여 5.22%포인트 향상되었다.
• 향상 후 NFIQ 2 품질 점수는 유의미하게 상승했다: NIST SD27에서는 평균이 20.04에서 26.62로, MSP Latent에서는 9.47에서 15.91로, NIST SD302에서는 4.67에서 16.31로 상승했다.
• Verifinger V12.4 SDK는 NIST SD27에서 27.51%에 불과했고, MSP Latent에서는 55.06%에 머물러 있어, ULPrint의 우월성이 확인되었다.
• 시각적 비교 결과, ULPrint가 생성한 향상 결과는 FingerNet보다 이미지 세부 정보를 더 잘 유지했으며, 다양한 유형의 잠재 지문에서 더 선명하고 일관된 고리 구조를 만들어 냈다.