[논문 리뷰] End-to-End Pore Extraction and Matching in Latent Fingerprints: Going Beyond Minutiae

Dinh-Luan Nguyen, Anil K. Jain|arXiv (Cornell University)|2019. 05. 27.

Biometric Identification and Security참고 문헌 27인용 수 9

한 줄 요약

이 논문은 고해상도(1,000 ppi) 이미지를 활용하여 잠재 지문의 자동 구멍 추출 및 매칭을 위한 엔드 투 엔드 딥러닝 프레임워크를 제시한다. 기존의 미세한 특징 기반 방법을 초월하여 인식 성능을 향상시킨다. 이 시스템은 검색 및 확인 성능에서 약간의 향상이 있으나 의미 있는 성과를 기록하며, 특히 미세한 특징 수가 중간 수준인 경우에 두드러진다. 이는 기존 매칭 기반 시스템과 조합했을 때 구멍이 보조적인 특징으로서 잠재 지문 식별에 유용하다는 것을 보여준다.

ABSTRACT

Latent fingerprint recognition is not a new topic but it has attracted a lot of attention from researchers in both academia and industry over the past 50 years. With the rapid development of pattern recognition techniques, automated fingerprint identification systems (AFIS) have become more and more ubiquitous. However, most AFIS are utilized for live-scan or rolled/slap prints while only a few systems can work on latent fingerprints with reasonable accuracy. The question of whether taking higher resolution scans of latent fingerprints and their rolled/slap mate prints could help improve the identification accuracy still remains an open question in the forensic community. Because pores are one of the most reliable features besides minutiae to identify latent fingerprints, we propose an end-to-end automatic pore extraction and matching system to analyze the utility of pores in latent fingerprint identification. Hence, this paper answers two questions in the latent fingerprint domain: (i) does the incorporation of pores as level-3 features improve the system performance significantly? and (ii) does the 1,000 ppi image resolution improve the recognition results? We believe that our proposed end-to-end pore extraction and matching system will be a concrete baseline for future latent AFIS development.

연구 동기 및 목표

• 낮은 품질의 부분적인 지문에 대한 도전 과제를 해결하기 위해 잠재 지문에서 자동으로 구멍을 추출하고 매칭하는 엔드 투 엔드 시스템을 개발하는 것.
• 구멍을 레벨-3 특징으로 통합했을 때 기존의 미세한 특징 기반 시스템에 비해 인식 정확도가 향상되는지 평가하는 것.
• 1,000 ppi 해상도의 이미지가 잠재 지문 매칭 성능에 미치는 영향을 조사하는 것.
• 어린이 지문과 같은 미세한 특징이 흐린 경우와 같은 도전적인 상황에서 구멍 기반 매칭의 가능성을 평가하는 것.
• 앞으로의 잠재 지문 AFIS 개발을 위한 기반을 마련하고, 구멍을 보조적 특징으로 활용하는 데에 있어 강력한 기준을 설정하는 것.

제안 방법

• 구멍 추출 파이프라인은 사전 처리된 지문 이미지에서 후보 구멍 영역을 분리하기 위해 적응형 임계값 처리와 형태학적 연산을 사용한다.
• 연결 요소가 크기와 원형성 기반으로 필터링되어 땀샘 구멍과 유사한 구조만 유지된다.
• 딥러닝 기반 특징 추출 모듈을 활용하여 매칭을 위해 구멍의 공간적 구성 특징을 인코딩한다.
• 추출된 구멍 특징을 사용하여 잠재 지문과 롤링 지문 템플릿 간의 유사도 스코어를 계산하는 매칭 스코어 메커니즘이 적용된다.
• 기존의 상용 제품(COTS) 기반 미세한 특징 매칭기와 텍스처 기반 매칭기와의 스코어 수준 융합을 통해 종합적인 확인 정확도를 향상시킨다.
• 일반화 성능 평가를 위해 NIST SD27(1,000 ppi 잠재 지문 데이터베이스)와 1,900 ppi 해상도의 어린이 지문 데이터베이스를 사용한다.

실험 결과

연구 질문

• RQ1 구멍을 레벨-3 특징으로 통합했을 때, 기존의 미세한 특징 기반 시스템에 비해 잠재 지문 식별 성능이 유의미하게 향상되는가?
• RQ2 이미지 해상도를 1,000 ppi로 높임으로써 구멍 추출 및 매칭 정확도에 측정 가능한 향상이 이루어지는가?
• RQ3 어린이 지문과 같이 미세한 특징 수가 적은 상황에서 구멍 기반 매칭이 기존의 미세한 특징 기반 매칭기와 효과적으로 보완되는가?
• RQ4 잠재 지문에서 흔히 볼 수 있는 왜곡과 노이즈에 대해 제안된 구멍 추출 파이프라인이 얼마나 강건한가?
• RQ5 구멍, 미세한 특징, 텍스처 매칭기 간의 스코어 융합이 종합적인 확인 정확도 향상에 얼마나 기여하는가?

주요 결과

• 구멍 매칭기만으로도 어린이 지문에서 0.1% FAR(일부러 잘못된 매칭 비율)일 때 TAR(참 양성률)가 52.94%를 기록하며, 텍스처 기반 매칭기(31.37%)를 능가하지만 COTS-A(72.54%)에 미치지 못한다.
• 구멍 스코어를 COTS-A, COTS-B 및 텍스처 매칭기와 융합함으로써 어린이 지문에서 0.1% FAR일 때 TAR가 88.23%로 향상되었고, 1.0% FAR일 때는 94.11%에 도달했다.
• NIST SD27 데이터셋에서는 구멍 기반 매칭이 미세한 특징 기반 매칭에 비해 근소한 향상만을 보였으며, 주로 고도로 왜곡되고 구멍이 잘 보이지 않는 원인 때문이다.
• 구멍은 미세한 특징 수가 너무 적지도, 너무 많지도 않은 중간 수준의 잠재 지문에서 가장 유용하며, 신뢰할 수 있는 대응 관계를 제공한다.
• 1,900 ppi 해상도의 어린이 지문에 대해 시스템은 다양한 이미지 품질에서도 일관된 구멍 추출 성능을 보이며 뛰어난 일반화 능력을 입증했다.
• 다양한 배경을 포함한 대규모 고해상도 잠재 지문 데이터셋의 부족은 향후 성과 향상에 있어 주요 장애물로 남아 있다.