[논문 리뷰] Fingerprint Spoof Generalization

Tarang Chugh, Anil K. Jain|arXiv (Cornell University)|2019. 12. 05.

Biometric Identification and Security참고 문헌 51인용 수 10

한 줄 요약

이 논문은 알려진 재료에서 유사한 지문을 합성하여, 새로운 재료에 대해 일반화 능력을 향상시키는 스타일 전이 기반 래퍼인 유니버설 머티리얼 게이터러(UMG)를 제안한다. 기존의 스타일 전이 기법을 활용해 스타일을 전이하고, 합성된 생체 이미지를 증강함으로써 최신 기술 기반 검출기의 일반화 성능을 12종의 재료 데이터셋에서 0.2% FDR 기준 TDR 75.24%에서 91.78%로 향상시켰으며, 데이터 요구량도 최소화하였다.

ABSTRACT

We present a style-transfer based wrapper, called Universal Material Generator (UMG), to improve the generalization performance of any fingerprint spoof detector against spoofs made from materials not seen during training. Specifically, we transfer the style (texture) characteristics between fingerprint images of known materials with the goal of synthesizing fingerprint images corresponding to unknown materials, that may occupy the space between the known materials in the deep feature space. Synthetic live fingerprint images are also added to the training dataset to force the CNN to learn generative-noise invariant features which discriminate between lives and spoofs. The proposed approach is shown to improve the generalization performance of a state-of-the-art spoof detector, namely Fingerprint Spoof Buster, from TDR of 75.24% to 91.78% @ FDR = 0.2%. These results are based on a large-scale dataset of 5,743 live and 4,912 spoof images fabricated using 12 different materials. Additionally, the UMG wrapper is shown to improve the average cross-sensor spoof detection performance from 67.60% to 80.63% when tested on the LivDet 2017 dataset. Training the UMG wrapper requires only 100 live fingerprint images from the target sensor, alleviating the time and resources required to generate large-scale live and spoof datasets for a new sensor. We also fabricate physical spoof artifacts using a mixture of known spoof materials to explore the role of cross-material style transfer in improving generalization performance.

연구 동기 및 목표

• 학습 기간 동안 존재하지 않은 새로운 스푸핑 재료에 대해 지문 스푸핑 검출기가 실패하는 문제를 해결하기 위해.
• 센서별로 특화된 대규모 생체 및 스푸핑 데이터셋이 필요로 하는 비용을 줄이고, 데이터 효율적인 일반화를 가능하게 하기 위해.
• 다른 재료 간의 스타일 전이가 물리적으로 혼합된 스푸핑 재료에 대해 검출 성능을 향상시킬 수 있는지 조사하기 위해.
• 합성 데이터 증강을 통해 다양한 센서와 재료에 대해 지문 스푸핑 검출기의 강건성을 향상시키기 위해.

제안 방법

• 유니버설 머티리얼 게이터러(UMG) 래퍼는 신경망 기반 스타일 전이 기법을 사용하여 알려진 스푸핑 재료의 텍스처 특성을 전이하여, 알려지지 않은 재료의 합성 스푸핑 이미지를 생성한다.
• 이 방법은 한 스푸핑 재료의 스타일을 다른 스푸핑 재료의 콘텐츠에 전이하여, 알려진 재료들 사이에서 딥 페처 스페이스 상에서 효과적인 인터폴레이션을 수행한다.
• 합성된 생체 지문 이미지를 생성하고 학습 데이터에 추가함으로써, CNN이 생성 노이즈에 대해 불변인 특징을 학습하도록 유도하여 실제 대 스푸핑 식별 능력을 향상시킨다.
• UMG는 타겟 센서당 100장의 생체 지문 이미지만으로 학습되며, 이는 데이터 수집 비용을 크게 절감한다.
• 물리적 스푸핑 아티팩트는 알려진 재료의 혼합물(예: 실리콘과 라텍스)을 사용하여 제작하여, 재료 간 일반화 능력을 평가한다.
• 이 접근법은 12종의 재료에 걸쳐 총 5,743장의 생체 및 4,912장의 스푸핑 이미지를 포함하는 대규모 데이터셋과, 센서 간 성능 평가를 위한 LivDet 2017 벤치마크에서 평가되었다.

실험 결과

연구 질문

• RQ1 알려진 스푸핑 재료 간의 스타일 전이가 알려지지 않은 재료에 대해 일반화 능력을 향상시키는 합성 스푸핑 이미지를 생성할 수 있는가?
• RQ2 합성된 생체 이미지를 학습 데이터에 추가함으로써 생성 노이즈에 대한 강건성이 향상되고 스푸핑 검출 성능이 향상되는가?
• RQ3 다른 재료 간의 스타일 전이가 훈련 중에 볼 수 없었던 물리적으로 혼합된 스푸핑 재료에 대해 어느 정도 검출 성능을 향상시키는가?
• RQ4 UMG와 같은 경량 래퍼가 최소한의 레이블 데이터로도 다양한 센서 간 일반화 능력을 크게 향상시킬 수 있는가?

주요 결과

• UMG 래퍼는 12종의 재료 스푸핑 데이터셋에서 Fingerprint Spoof Buster의 일반화 성능을 0.2% FDR 기준 TDR 75.24%에서 91.78%로 향상시켰다.
• 이 방법은 LivDet 2017 벤치마크에서 평균 센서 간 스푸핑 검출 성능을 67.60%에서 80.63%로 상승시켰다.
• 실리콘과 라텍스 베이스 페인트로 만든 물리적 혼합 스푸핑에 대해 UMG로 생성된 합성 스푸핑 이미지를 사용해 미세조정한 후, TDR가 83.33%에서 95.83%로 향상되었다.
• UMG는 센서당 100장의 생체 지문 이미지만으로 학습이 가능하여, 데이터 수집 및 레이블링 비용을 크게 절감한다.
• 3D t-SNE 시각화 결과, UMG로 생성된 스푸핑 이미지의 특징 임bedding이 알려지지 않은 스푸핑 임베딩(예: 젤라틴)에 더 가까운 것으로 확인되어, 일반화 능력 향상이 이루어졌음을 시사한다.
• 재료 혼합물로 제작된 물리적 스푸핑 아티팩트를 통해, 다른 재료 간 스타일 전이가 알려지지 않은 스푸핑 유형에 대해 유의미한 훈련 데이터를 효과적으로 생성할 수 있음을 입증하였다.