[论文解读] Fingerprint Spoof Generalization

Tarang Chugh, Anil K. Jain|arXiv (Cornell University)|Dec 5, 2019

Biometric Identification and Security参考文献 51被引用 10

一句话总结

本文提出一种基于风格迁移的封装工具 Universal Material Generator (UMG)，通过从已知材料生成伪造指纹图像，提升指纹伪造检测器对未见过材料的泛化能力。通过在伪造图像间迁移纹理风格，并结合合成的真实图像进行数据增强，UMG 将最先进检测器在12种材料数据集上的泛化性能从75.24%提升至91.78% TDR（FDR为0.2%），且仅需极少的数据量。

ABSTRACT

We present a style-transfer based wrapper, called Universal Material Generator (UMG), to improve the generalization performance of any fingerprint spoof detector against spoofs made from materials not seen during training. Specifically, we transfer the style (texture) characteristics between fingerprint images of known materials with the goal of synthesizing fingerprint images corresponding to unknown materials, that may occupy the space between the known materials in the deep feature space. Synthetic live fingerprint images are also added to the training dataset to force the CNN to learn generative-noise invariant features which discriminate between lives and spoofs. The proposed approach is shown to improve the generalization performance of a state-of-the-art spoof detector, namely Fingerprint Spoof Buster, from TDR of 75.24% to 91.78% @ FDR = 0.2%. These results are based on a large-scale dataset of 5,743 live and 4,912 spoof images fabricated using 12 different materials. Additionally, the UMG wrapper is shown to improve the average cross-sensor spoof detection performance from 67.60% to 80.63% when tested on the LivDet 2017 dataset. Training the UMG wrapper requires only 100 live fingerprint images from the target sensor, alleviating the time and resources required to generate large-scale live and spoof datasets for a new sensor. We also fabricate physical spoof artifacts using a mixture of known spoof materials to explore the role of cross-material style transfer in improving generalization performance.

研究动机与目标

• 为解决指纹伪造检测器在训练过程中未见过的新材料伪造样本上失效的问题。
• 通过实现数据高效的泛化，减少对大规模、传感器特异性的真实与伪造图像数据集的依赖。
• 探究跨材料风格迁移是否能提升对物理混合伪造材料的检测性能。
• 通过合成数据增强，提升指纹伪造检测器在多种传感器和材料上的鲁棒性。

提出的方法

• 一种通用材料生成器（UMG）封装工具利用神经风格迁移，将已知伪造材料的纹理特征迁移到未知材料，生成合成伪造图像。
• 该方法通过将一种伪造材料的风格迁移至另一种材料的内容上，有效在深层特征空间中对已知材料进行插值。
• 生成合成的真实指纹图像并加入训练数据，以促使卷积神经网络学习对生成噪声具有不变性的特征，从而提升真实与伪造指纹的判别能力。
• UMG 仅需每目标传感器100张真实指纹图像进行训练，显著降低数据采集成本。
• 通过混合已知材料（如硅胶与乳胶）制作物理伪造样本，以评估跨材料泛化能力。
• 该方法在包含5,743张真实图像和4,912张伪造图像的12种材料大规模数据集上进行评估，同时在LivDet 2017基准上测试跨传感器性能。

实验结果

研究问题

• RQ1 在已知伪造材料之间进行风格迁移，能否生成合成伪造图像，从而提升检测器对未知材料的泛化能力？
• RQ2 通过在训练中加入合成真实图像，是否能增强对生成噪声的鲁棒性，并提升伪造检测性能？
• RQ3 跨材料风格迁移在训练中未见的物理混合伪造材料上的检测性能提升程度如何？
• RQ4 轻量级封装工具如UMG是否能仅用极少标注数据，在多种传感器上显著提升泛化能力？

主要发现

• UMG封装工具将指纹伪造检测器 Fingerprint Spoof Buster 在12种材料伪造数据集上的泛化性能从75.24%提升至91.78% TDR（FDR为0.2%）。
• 该方法将LivDet 2017基准上平均跨传感器伪造检测性能从67.60%提升至80.63%。
• 在使用硅胶与乳胶混合制成的物理伪造样本（身体涂料）测试中，经UMG生成的合成伪造图像微调后，检测器的TDR从83.33%提升至95.83%。
• UMG 仅需每传感器100张真实指纹图像即可完成训练，大幅降低数据采集与标注成本。
• 3D t-SNE 可视化结果表明，UMG生成的伪造图像特征嵌入更接近未知伪造材料的嵌入（如明胶），而非真实伪造图像的嵌入，表明泛化能力得到提升。
• 通过混合材料制作的物理伪造样本表明，跨材料风格迁移能有效生成针对未见伪造类型的有用训练数据。