[論文レビュー] A Universal Latent Fingerprint Enhancer Using Transformers

André Brasil Vieira Wyzykowski, Anil K. Jain|arXiv (Cornell University)|May 31, 2023

Biometric Identification and Security被引用数 4

ひとこと要約

本稿では、UNetと拡張畳み込みを組み合わせた二段階のTransformerベース手法を用いて、縁のセグメンテーションと画像品質を向上させる普遍的潜在指紋強調手法ULPrintを提案する。Mix Vision Transformer（SegFormer-B5）を統合し、NIST SD27ではMSU-AFISの識別精度を61.56%から75.19%へ、MSP Latentでは67.63%から77.02%へ、NIST SD302では46.90%から52.12%へと向上させ、Verifinger SDK 12.4を上回る最先端の性能を達成した。

ABSTRACT

Forensic science heavily relies on analyzing latent fingerprints, which are crucial for criminal investigations. However, various challenges, such as background noise, overlapping prints, and contamination, make the identification process difficult. Moreover, limited access to real crime scene and laboratory-generated databases hinders the development of efficient recognition algorithms. This study aims to develop a fast method, which we call ULPrint, to enhance various latent fingerprint types, including those obtained from real crime scenes and laboratory-created samples, to boost fingerprint recognition system performance. In closed-set identification accuracy experiments, the enhanced image was able to improve the performance of the MSU-AFIS from 61.56\% to 75.19\% in the NIST SD27 database, from 67.63\% to 77.02\% in the MSP Latent database, and from 46.90\% to 52.12\% in the NIST SD302 database. Our contributions include (1) the development of a two-step latent fingerprint enhancement method that combines Ridge Segmentation with UNet and Mix Visual Transformer (MiT) SegFormer-B5 encoder architecture, (2) the implementation of multiple dilated convolutions in the UNet architecture to capture intricate, non-local patterns better and enhance ridge segmentation, and (3) the guided blending of the predicted ridge mask with the latent fingerprint. This novel approach, ULPrint, streamlines the enhancement process, addressing challenges across diverse latent fingerprint types to improve forensic investigations and criminal justice outcomes.

研究の動機と目的

• 犯罪現場の低品質で多様な潜在指紋による識別困難を解消するため、ノイズ、汚染、部分的インプリントの影響を軽減する。
• 実際の犯罪現場指紋データベースの不足とアクセス制限によるアルゴリズム開発とベンチマークの制限を克服する。
• 多様な指紋タイプにわたる認識精度の向上を実現する自動で汎用的な強調手法を開発し、人的バイアスと作業負荷を低減する。
• 実世界およびラボで生成された潜在指紋の両方で優れた性能を発揮する、強固で一般化可能な強調フレームワークを構築する。
• ビジョントランスフォーマーと拡張畳み込みを統合した高度なディーブラーニングアーキテクチャを用いて、優れた縁構造回復を実現し、指紋認識システムの信頼性と効率を向上させる。

提案手法

• 二段階パイプラインを採用：まず、複数の拡張畳み込みを組み合わせた変更版UNetを用いて、非局所的で複雑な縁パターンを捉える。
• 第二段階として、縁マスクの生成にミックスビジョントランスフォーマー（MiT）エンコーダー、特にSegFormer-B5を用い、特徴表現とセグメンテーション精度を向上させる。
• 予測された縁マスクを元の潜在指紋画像にガイド付きでブレンドすることで、テクスチャおよび構造的詳細を保持しつつ、縁の明瞭度を向上させる。
• UNetエンコーダーに拡張畳み込みを統合し、受容 field を拡大し、細かく途切れのある縁構造のセグメンテーションを改善する。
• 実際の犯罪現場（NIST SD27、MSP Latent）およびラボで生成された（NIST SD302）データベースの組み合わせを用いて、エンドツーエンドで学習させ、指紋タイプにわたる一般化を確保する。
• 評価はNIST ELFT-EFSプロトコルに従い、10万枚のロールド指紋をギャラリーとして使用するクローズドセット1:N識別と、NFIQ 2による画像品質評価を実施する。

実験結果

リサーチクエスチョン

• RQ1 ディープラーニングベースの強調手法は、実際の犯罪現場およびラボ環境からの多様な潜在指紋タイプの品質と識別可能性を普遍的に向上させることができるか？
• RQ2 拡張畳み込みとビジョントランスフォーマーを統合することで、標準的なUNetやCNNベースの手法と比較して、縁セグメンテーションの性能がどのように向上するか？
• RQ3 元の画像に縁マスクをガイド付きでブレンドすることで、アーチファクトを生成せずに認識精度がどの程度向上するか？
• RQ4 本手法は、Verifinger SDK 12.4のような既存の商用および研究用指紋強調ツールを上回る性能を、クローズドセット識別タスクで示せるか？
• RQ5 本手法は、画像品質や複雑さが異なる複数のベンチマークデータベースで一貫した性能向上を達成できるか？

主な発見

• NIST SD27データベースでは、MSU-AFISの識別精度が61.56%から75.19%へと上昇し、13.63ポイントの向上を達成した。
• MSP Latentデータベースでは、認識精度が67.63%から77.02%へ上昇し、9.39ポイントの改善を記録した。
• NIST SD302データベースでは、精度が46.90%から52.12%へ上昇し、5.22ポイントの増加を達成した。
• NFIQ 2の品質スコアは強調後、顕著に向上した：NIST SD27では平均が20.04から26.62に、MSP Latentでは9.47から15.91に、NIST SD302では4.67から16.31に上昇した。
• Verifinger V12.4 SDKはNIST SD27で27.51%、MSP Latentで55.06%にとどまり、本手法が優れていることを確認した。
• 視覚的比較では、ULPrintが生成した強調画像はFingerNetよりも画像の詳細をよりよく保持しており、多様な潜在指紋タイプにおいて明瞭で一貫性のある縁構造を再現した。