[논문 리뷰] PrintsGAN: Synthetic Fingerprint Generator

Joshua J. Engelsma, Steven A. Grosz외 1명|arXiv (Cornell University)|2022. 01. 10.

Biometric Identification and Security인용 수 4

한 줄 요약

PrintsGAN은 512×512 크기의 고해상도이고 현실적인 롤드 지문을 다수의 인식마다 생성하는 GAN 기반 합성 지문 생성기로, 35,000개의 고유 지문(각각 15회 인식)을 포함해 총 525,000개의 대규모 합성 데이터셋을 생성할 수 있다. 이는 DeepPrint와 같은 딥 지문 임베딩 네트워크의 사전 훈련에 사용되었으며, NIST SD4에서 FAR=0.01%일 때 TAR가 87.03%로 향상되어 실지 데이터만으로 훈련하는 것보다 유의미하게 성능 향상을 이룬다.

ABSTRACT

A major impediment to researchers working in the area of fingerprint recognition is the lack of publicly available, large-scale, fingerprint datasets. The publicly available datasets that do exist contain very few identities and impressions per finger. This limits research on a number of topics, including e.g., using deep networks to learn fixed length fingerprint embeddings. Therefore, we propose PrintsGAN, a synthetic fingerprint generator capable of generating unique fingerprints along with multiple impressions for a given fingerprint. Using PrintsGAN, we synthesize a database of 525k fingerprints (35K distinct fingers, each with 15 impressions). Next, we show the utility of the PrintsGAN generated dataset by training a deep network to extract a fixed-length embedding from a fingerprint. In particular, an embedding model trained on our synthetic fingerprints and fine-tuned on a small number of publicly available real fingerprints (25K prints from NIST SD302) obtains a TAR of 87.03% @ FAR=0.01% on the NIST SD4 database (a boost from TAR=73.37% when only trained on NIST SD302). Prevailing synthetic fingerprint generation methods do not enable such performance gains due to i) lack of realism or ii) inability to generate multiple impressions per finger. We plan to release our database of synthetic fingerprints to the public.

연구 동기 및 목표

• 공개적으로 이용 가능한 대규모 지문 데이터셋이 부족하고, 각 지문에 대해 다수의 인식이 포함되어 있지 않은 문제를 해결하기 위해.
• 통제된 내부 클래스 변동성을 가진 현실적이고 다양한 고유 지문을 생성할 수 있는 합성 지문 생성 방법을 개발하기 위해.
• 고정 길이의 지문 임베딩 및 대규모 식별을 위한 딥러닝 모델 향상에 합성 지문의 유용성을 입증하기 위해.
• 실제 훈련 데이터에서 정보 泄漏가 없는 것을 보장함으로써, 개인정보 위험 없이 대규모 합성 지문 데이터베이스를 공개할 수 있도록 하기 위해.

제안 방법

• PrintsGAN은 도메인 지식 기반의 합성과 딥 생성 모델링을 융합한 다단계 GAN 기반 파이프라인을 사용하여 고해상도 지문을 생성한다.
• 이 방법은 먼저 조건부 GAN을 통해 '마스터 지문'을 생성한 후, 기하학적 왜곡 및 자르기 기법을 적용하여 다양한 손가락 위치와 방향을 시뮬레이션한다.
• 세 번째 단계에서 질감 렌더링을 적용하여 실제 지문의 특징을 반영하는 피부 질감과 고리 무늬 세부 정보를 추가함으로써 실제 지문 특성과의 유사성을 확보한다.
• 모델은 실지 운영 중인 법의학적 지문 데이터베이스를 기반으로 훈련되며, GAN 손실과 인지 손실을 모두 활용하여 현실성과 구조적 정확성을 향상시킨다.
• 이 시스템은 지문 신원과 인식 변동성을 제어할 수 있도록 설계되어, 고유 지문당 여러 개의 고유한 인식을 생성할 수 있다.
• 전체 파이프라인은 텐서플로우로 구현되어 있어, 모델 훈련 중 실시간 생성이 가능하여 저장 용량을 줄일 수 있다.

실험 결과

연구 질문

• RQ1 GAN 기반 방법이 실지 데이터로 훈련된 딥러닝 모델의 성능 향상에 기여할 정도로 현실적인 합성 지문을 생성할 수 있는가?
• RQ2 지문당 다수의 인식을 가진 합성 지문이 고정 길이의 지문 임베딩 네트워크 성능 향상에 기여하는가?
• RQ3 합성 지문 생성 과정이 강건한 지문 인식을 지원할 수 있도록 충분한 내부 클래스 변동성을 유지하는가?
• RQ4 실제 훈련 데이터에서 정보 泄漏가 없는 한계가 없이, 대규모 합성 지문 데이터베이스를 공개적으로 배포할 수 있는가?

주요 결과

• NIST SD302에서 25,000개의 실지 지문을 미세조정한 결과, PrintsGAN가 생성한 합성 지문으로 훈련한 DeepPrint 임베딩 모델은 NIST SD4 벤치마크에서 FAR=0.01%일 때 TAR가 87.03%로 나타나, NIST SD302만으로 훈련한 경우(73.37%)보다 13.66% 향상되었다.
• DeepPrint 모델을 PrintsGAN 생성 지문으로 사전 훈련한 결과, NIST SD4에서 랭크-1 식별률이 92.05%로 나타났으며, 이는 NIST SD302만으로 훈련한 경우(85.90%)보다 뛰어난 성능을 보였다.
• 갤러리에 10만 개의 PrintsGAN 생성 지문을 추가한 결과, 10만 개의 실지 지문을 추가한 것과 유사한 식별 성능(92.05% 대 86.80%)을 달성했다.
• 전문가 평가에서 PrintsGAN가 생성한 지문의 현실성은 실지 지문과 유사하게 평가되어 높은 인지 품질을 확인했다.
• 합성 과정은 계산적으로 효율적이며, 두 대의 RTX 2080 Ti GPU를 사용해 1개의 512×512 지문을 약 99.2ms 내에 생성할 수 있다.
• 실제 훈련 데이터베이스에서 유의미한 정보 泄漏가 발생하지 않아, 525,000개의 합성 지문 데이터셋을 안전하게 공개할 수 있다.