[论文解读] Deep Features for Contactless Fingerprint Presentation Attack Detection: Can They Be Generalized?

Hailin Li, Raghavendra Ramachandra|arXiv (Cornell University)|Jul 4, 2023

Biometric Identification and Security被引用 5

一句话总结

本论文采用基于智能手机的指纹数据集，通过留一法协议评估了八种预训练深度学习模型（七种CNN和一种视觉Transformer，ViT）在无接触指纹活体检测（PAD）中的泛化性能。ResNet50在所有测试中表现最佳，平均D-EER为8.26%；然而，对于未见过的攻击材料（如照片纸和橡皮泥），性能显著下降。

ABSTRACT

The rapid evolution of high-end smartphones with advanced high-resolution cameras has resulted in contactless capture of fingerprint biometrics that are more reliable and suitable for verification. Similar to other biometric systems, contactless fingerprint-verification systems are vulnerable to presentation attacks. In this paper, we present a comparative study on the generalizability of seven different pre-trained Convolutional Neural Networks (CNN) and a Vision Transformer (ViT) to reliably detect presentation attacks. Extensive experiments were carried out on publicly available smartphone-based presentation attack datasets using four different Presentation Attack Instruments (PAI). The detection performance of the eighth deep feature technique was evaluated using the leave-one-out protocol to benchmark the generalization performance for unseen PAI. The obtained results indicated the best generalization performance with the ResNet50 CNN.

研究动机与目标

• 研究预训练深度神经网络在无接触指纹生物识别中检测未见活体攻击工具（PAI）的泛化能力。
• 对多种深度学习架构（包括CNN和视觉Transformer）在智能手机采集的指纹PAD数据集上的性能进行基准测试。
• 评估在ImageNet上预训练的模型所提取的深层特征在测试未见PAI时的鲁棒性。
• 识别在3D打印、照片纸和橡皮泥等多样化伪造材料上，哪种深层特征提取方法能提供最可靠的泛化性能。

提出的方法

• 使用以手指核心点为中心的128×256像素裁剪，从智能手机采集的指纹图像中提取感兴趣区域（ROI）。
• 采用八种预训练深度学习模型（AlexNet、GoogLeNet、DenseNet201、ResNet50、EfficientNet-B0、NASNet、MobileNet-V2和视觉Transformer）进行特征提取。
• 从CNN的最后一个全连接层（fc6）提取深层特征，而GoogLeNet及其他架构则从全局平均池化层提取特征。
• 采用留一法评估协议，即在三种PAI材料上进行训练，第四种作为测试集，以模拟未见攻击场景。
• 使用ISO/IEC 30107-3标准指标评估性能：APCER、BPCER和D-EER（当APCER = BPCER时的相等错误率）。
• 进行四种独立测试案例，每种案例将一种PAI类型（eco-flex、照片纸、橡皮泥、木工胶）作为未见测试集。

Figure 1: Block diagram of the deep features based contactless fingerprint PAD

实验结果

研究问题

• RQ1 从预训练的CNN和视觉Transformer中提取的深层特征，能否在无接触指纹系统中泛化到未见的活体攻击工具？
• RQ2 在所评估的八种深度学习架构中，哪一种在多样化PAI材料上的泛化性能最强？
• RQ3 当测试集包含训练数据中未出现的PAI材料时，性能如何下降，特别是针对照片纸和橡皮泥？
• RQ4 视觉Transformer（ViT）在泛化到未见指纹伪造攻击方面是否优于传统CNN？
• RQ5 不同PAI材料（如eco-flex与照片纸）对深层特征泛化能力的相对影响是什么？

主要发现

• ResNet50在所有四个测试案例中均取得最佳泛化性能，平均D-EER为8.26%，表明其对未见PAI的检测最为稳健。
• AlexNet表现出最严重的性能下降，平均D-EER达23.16%，尤其在照片纸和橡皮泥等未见材料上完全失效。
• 当照片纸和橡皮泥作为未见PAI时，检测性能显著劣于eco-flex和木工胶，部分情况下APCER值超过90%。
• 视觉Transformer（ViT）在eco-flex和木工胶攻击上表现强劲（案例1和案例4的D-EER分别为6.71%和2.57%），但在照片纸和橡皮泥上完全失败（D-EER分别为50.00%和100.00%）。
• DenseNet201和EfficientNet-B0表现出中等泛化能力，平均D-EER分别为10.58%和10.79%，但仍逊于ResNet50。
• 结果表明，泛化能力高度依赖于PAI材料的类型，其中eco-flex和木工胶等合成材料比照片纸等常见材料更具可预测性。

Figure 2: DET curves of different cases (1 to 4) by comparing different deep learning models