[論文レビュー] Synthesis and Reconstruction of Fingerprints using Generative Adversarial Networks

Rafael Bouzaglo, Yosi Keller|arXiv (Cornell University)|Jan 17, 2022

Biometric Identification and Security被引用数 11

ひとこと要約

本論文では、高精細な指紋合成と再構築を可能にするStyleGAN2ベースのフレームワークを提案し、属性を制御可能な多様な指紋インプレッションのアイデンティティ保持生成を実現する。10万組のペaired合成指紋からなるSynFingデータセットを導入し、最先端の手法と比較して優れたリアルさとスプーフィング耐性を示す。

ABSTRACT

Deep learning-based models have been shown to improve the accuracy of fingerprint recognition. While these algorithms show exceptional performance, they require large-scale fingerprint datasets for training and evaluation. In this work, we propose a novel fingerprint synthesis and reconstruction framework based on the StyleGan2 architecture, to address the privacy issues related to the acquisition of such large-scale datasets. We also derive a computational approach to modify the attributes of the generated fingerprint while preserving their identity. This allows synthesizing multiple different fingerprint images per finger. In particular, we introduce the SynFing synthetic fingerprints dataset consisting of 100K image pairs, each pair corresponding to the same identity. The proposed framework was experimentally shown to outperform contemporary state-of-the-art approaches for both fingerprint synthesis and reconstruction. It significantly improved the realism of the generated fingerprints, both visually and in terms of their ability to spoof fingerprint-based verification systems. The code and fingerprints dataset are publicly available: https://github.com/rafaelbou/fingerprint_generator.

研究の動機と目的

• 指紋認識分野におけるプライバシー保護とデータ不足の課題に対処するため、現実的でリアルな合成指紋データセットを生成すること。
• 深層生成モデルを用いた指紋合成と再構築の統合フレームワークを開発すること。
• 背景のスクラッチやドライスキンアーティファクトなどの視覚的属性を細かく制御しつつ、指紋のアイデンティティを保持すること。
• 合成指紋の有効性が、指紋認証のための深層学習モデルの性能向上に寄与するかどうかを評価すること。
• 研究およびベンチマーク用に、大規模かつ公開可能な合成指紋データセット（SynFing）をリリースすること。

提案手法

• ランダムな潜在ベクトルから高解像度でリアルな指紋画像を生成できるように、実指紋データ上でStyleGAN2ジェネレータをトレーニングする。
• ミニティアス特徴を潜在ベクトルにマップするMinutiae-To-Vecエンコーダーを用いて、ミニティアスから元の指紋を再構築する。
• アイデンティティの保持を確保するため、FingerNetに基づく新しい指紋指向の知覚的損失関数を採用する。
• SeFa手法を用いて潜在空間内の解釈可能な方向を同定し、ビームや背景スクラッチなどの属性を制御的に変更可能にする。
• 学習された方向に沿って潜在ベクトルを操作することで、同一指紋の複数の異なるインプレッションを生成可能である。
• 10万組の画像ペアからなるSynFingデータセットを構築し、同じアイデンティティを持つが視覚的属性が異なるペアを含む。

実験結果

リサーチクエスチョン

• RQ1 GANベースのフレームワークは、現実の指紋と区別がつかないほど視覚的にリアルな合成指紋を生成できるか？
• RQ2 同一モデルがミニティアスから指紋を再構築できるか、かつアイデンティティと構造的整合性を保持できるか？
• RQ3 背景ノイズやドライスキンアーティファクトなどの視覚的属性を、アイデンティティを変えることなく制御できるか、その範囲はどの程度か？
• RQ4 実データセットと比較して、合成されたSynFingデータセットが指紋認証のための深層学習モデルの性能向上にどの程度寄与するか？
• RQ5 生成された指紋は、商業用指紋認証システムを効果的にスプーフィングできるか？

主な発見

• 提案フレームワークは、指紋合成および再構築の両面で最先端の手法を上回り、より高いリアルさと優れたスプーフィング耐性を達成した。
• ArcFaceモデルをSynFingデータセットでトレーニングした場合、NIST SD4データセット上で71.43%の認証精度を達成し、NIST SD14でのみトレーニングしたモデル（69.20%）を上回った。
• SynFingとNIST SD14の両方のデータを組み合わせたトレーニング戦略により、83.72%の認証精度が得られ、いずれのデータセットのみでトレーニングしたモデルよりも顕著に優れた性能を示した。
• SynFingP1およびSynFingP2のマッチングスコアは、NIST SD4の不正認証スコアを上回り、真のスコアにわずかに下回る結果となり、生成されたインプレッション間でのアイデンティティ保持が強く裏付けられた。
• 潜在空間内の解釈可能な方向に沿って潜在ベクトルを操作することで、スクラッチやドライスキンアーティファクトなどの視覚的属性を制御的に変更可能な多様な指紋インプレッションを効果的に生成できた。
• FingerNetに基づく知覚的損失は、合成および再構築の過程でアイデンティティを効果的に保持し、高精度な出力を可能にした。