[논문 리뷰] Synthesis and Reconstruction of Fingerprints using Generative Adversarial Networks

Rafael Bouzaglo, Yosi Keller|arXiv (Cornell University)|2022. 01. 17.

Biometric Identification and Security인용 수 11

한 줄 요약

이 논문은 고해상도 지문 합성 및 복원을 위한 스타일 기반 GAN2 기반 프레임워크를 제안하며, 제어 가능한 특성과 함께 신원을 유지하는 다양한 지문 인상의 생성을 가능하게 한다. 10만 개의 쌍체로 구성된 SynFing 데이터셋을 도입하여 기존 최고 수준의 방법들보다 뛰어난 현실성과 위조 탐지 저항성을 입증한다.

ABSTRACT

Deep learning-based models have been shown to improve the accuracy of fingerprint recognition. While these algorithms show exceptional performance, they require large-scale fingerprint datasets for training and evaluation. In this work, we propose a novel fingerprint synthesis and reconstruction framework based on the StyleGan2 architecture, to address the privacy issues related to the acquisition of such large-scale datasets. We also derive a computational approach to modify the attributes of the generated fingerprint while preserving their identity. This allows synthesizing multiple different fingerprint images per finger. In particular, we introduce the SynFing synthetic fingerprints dataset consisting of 100K image pairs, each pair corresponding to the same identity. The proposed framework was experimentally shown to outperform contemporary state-of-the-art approaches for both fingerprint synthesis and reconstruction. It significantly improved the realism of the generated fingerprints, both visually and in terms of their ability to spoof fingerprint-based verification systems. The code and fingerprints dataset are publicly available: https://github.com/rafaelbou/fingerprint_generator.

연구 동기 및 목표

• 지문 인식 분야에서의 개인정보 유출 및 데이터 부족 문제를 해결하기 위해 현실적인 합성 지문 데이터셋을 생성하기 위해.
• 딥 러닝 기반 생성 모델을 활용해 지문 합성과 복원을 동시에 수행할 수 있는 통합 프레임워크를 개발하기 위해.
• 배경 스케치나 건성 피부 손상과 같은 시각적 특성에 대해 세밀한 제어를 가능하게 하면서도 지문의 신원을 유지하기 위해.
• 합성 지문의 유효성을 검증하여 딥 러닝 기반 지문 확인 모델의 성능 향상에 기여하기 위해.
• 연구 및 벤치마킹을 위해 공개 가능한 대규모 합성 지문 데이터셋(SynFing)을 배포하기 위해.

제안 방법

• 무작위 잠재 벡터에서 고해상도이고 현실적인 지문 이미지를 생성하기 위해, 실제 지문 데이터를 기반으로 스타일 기반 GAN2 생성자 모델을 훈련시켰다.
• 미니티아 특징을 잠재 벡터로 매핑하는 Minutiae-To-Vec 인코더를 도입하여 지문의 미니티아에서 원본 지문을 복원할 수 있도록 했다.
• 합성 및 복원 과정에서 지문의 신원을 유지하기 위해 지문 전용의 인지적 손실 함수를 도입하였으며, 이는 FingerNet 기반의 새로운 접근 방식이다.
• SeFa 방법을 활용해 잠재 공간 내에서 해석 가능한 방향성을 식별하여, 예를 들어 덩어리나 배경 스케치 등의 특성 수정을 제어할 수 있도록 했다.
• 학습된 방향에 따라 잠재 벡터를 조작함으로써 동일한 지문에 대해 여러 개의 서로 다른 인상 이미지를 생성할 수 있도록 지원한다.
• 10만 개의 이미지 쌍으로 구성된 SynFing 데이터셋을 구축하였으며, 각 쌍은 동일한 신원을 공유하지만 시각적 특성에서 상이하다.

실험 결과

연구 질문

• RQ1 GAN 기반 프레임워크가 현실적으로 보이며 실제 지문과 구별하기 어려운 합성 지문을 생성할 수 있는가?
• RQ2 동일한 모델이 지문의 미니티아에서 지문을 복원할 수 있으며, 신원과 구조적 정확성을 유지할 수 있는가?
• RQ3 배경 잡음이나 건성 피부 손상과 같은 시각적 특성을 지문의 신원을 변경하지 않으면서 얼마나 잘 제어할 수 있는가?
• RQ4 실제 데이터셋과 비교했을 때, 합성된 SynFing 데이터셋이 지문 확인을 위한 딥 러닝 모델의 성능 향상에 얼마나 효과적인가?
• RQ5 생성된 지문이 상용 지문 확인 시스템을 성공적으로 위조할 수 있는가?

주요 결과

• 제안된 프레임워크는 지문 합성 및 복원 모두에서 최고 수준의 기존 방법들을 능가하며, 더 높은 현실성과 뛰어난 위조 탐지 저항성을 확보했다.
• ArcFace 모델을 SynFing 데이터셋으로 훈련시킨 결과, NIST SD4 데이터셋에서 71.43%의 확인 정확도를 기록했으며, NIST SD14 데이터셋 전용 훈련 모델(69.20%)보다 뛰어난 성능을 보였다.
• SynFing 및 NIST SD14 데이터셋을 병합해 훈련한 전략은 83.72%의 확인 정확도를 기록하여, 각각의 데이터셋으로만 훈련된 모델보다 유의미하게 높은 성능을 보였다.
• SynFingP1 및 SynFingP2의 매칭 점수는 NIST SD4 위조 점수를 초월했으며, 진짜 지문 점수와는 약간 낮은 수준이었으며, 이는 생성된 인상들 사이에서도 강력한 신원 유지 능력을 보여주었다.
• 잠재 공간 내에서 해석 가능한 방향성에 따라 잠재 벡터를 조작함으로써 다양한 지문 인상을 성공적으로 생성하였으며, 스케치나 건성 피부 손상 등의 시각적 특성도 제어 가능하게 조정되었다.
• FingerNet 기반의 인지적 손실 함수는 합성 및 복원 과정에서 지문의 신원을 효과적으로 유지하여 고해상도 출력을 가능하게 했다.