[论文解读] A Comprehensive Evaluation on Multi-channel Biometric Face Presentation Attack Detection

Anjith George, David Geissbühler+1 more|arXiv (Cornell University)|Feb 21, 2022

Biometric Identification and Security被引用 5

一句话总结

本文使用包含14种成像模式（包括RGB、NIR、SWIR、深度和热成像）的综合数据集，评估了多通道生物特征人脸活体攻击检测（PAD）。结果表明，结合RGB与SWIR通道能显著提升对已知及未见攻击（尤其是遮掩攻击）的鲁棒性，且低分辨率SWIR传感器仍能保持高性能，从而实现硬件开销极小的低成本、高安全性的PAD系统。

ABSTRACT

The vulnerability against presentation attacks is a crucial problem undermining the wide-deployment of face recognition systems. Though presentation attack detection (PAD) systems try to address this problem, the lack of generalization and robustness continues to be a major concern. Several works have shown that using multi-channel PAD systems could alleviate this vulnerability and result in more robust systems. However, there is a wide selection of channels available for a PAD system such as RGB, Near Infrared, Shortwave Infrared, Depth, and Thermal sensors. Having a lot of sensors increases the cost of the system, and therefore an understanding of the performance of different sensors against a wide variety of attacks is necessary while selecting the modalities. In this work, we perform a comprehensive study to understand the effectiveness of various imaging modalities for PAD. The studies are performed on a multi-channel PAD dataset, collected with 14 different sensing modalities considering a wide range of 2D, 3D, and partial attacks. We used the multi-channel convolutional network-based architecture, which uses pixel-wise binary supervision. The model has been evaluated with different combinations of channels, and different image qualities on a variety of challenging known and unknown attack protocols. The results reveal interesting trends and can act as pointers for sensor selection for safety-critical presentation attack detection systems. The source codes and protocols to reproduce the results are made available publicly making it possible to extend this work to other architectures.

研究动机与目标

• 评估多种成像模式（RGB、NIR、SWIR、深度、热成像）在涵盖各类攻击类型的面部活体攻击检测（PAD）中的有效性。
• 识别在性能与成本之间实现最佳平衡的最优通道组合，以适用于安全关键型PAD系统。
• 确定实现有效PAD性能的最低分辨率要求，特别是针对SWIR通道。
• 评估不同通道对未见（未知）攻击协议的鲁棒性，这是实际部署中的关键需求。
• 通过公开可用的多通道PAD数据集和代码，提供可复现的基准，以支持未来研究。

提出的方法

• 研究采用多通道卷积神经网络，并结合像素级二值监督，对真实与伪造人脸样本进行分类。
• 实验评估了多种通道组合（如RGB、RGB-SWIR、RGB-NIR）在不同图像分辨率水平下的表现。
• 模型通过在网络输入层堆叠输入通道实现早期融合，其性能优于评分级或特征级融合策略。
• 采用大规模数据集HQ-WMCA，每个样本包含14种传感模式，涵盖2D、3D及部分攻击类型。
• 分析同时包含已知与未知攻击协议，以评估模型的泛化能力与鲁棒性。
• 源代码与实验协议已公开发布，以确保可复现性，并可扩展至其他网络架构。

实验结果

研究问题

• RQ1 在面部PAD中，哪种成像模式组合能对已知及未见活体攻击提供最高的鲁棒性？
• RQ2 各通道（尤其是SWIR）的分辨率如何影响PAD性能与系统成本？
• RQ3 为何SWIR通道（特别是1450nm波长）在检测具有挑战性的遮掩攻击时表现出卓越性能？
• RQ4 与评分级或特征级融合相比，多通道输入的早期融合在检测准确率方面表现如何？
• RQ5 低分辨率SWIR传感器能否维持高PAD性能，从而实现在真实系统中的低成本部署？

主要发现

• RGB与SWIR通道的组合在所有攻击协议下均达到最高性能，显著优于单一通道。
• SWIR通道（特别是1450nm波长）因水吸收特性增强皮肤区分能力，对遮掩攻击表现出极强鲁棒性。
• RGB-SWIR_1450nm的性能与全RGB-SWIR融合相当，表明单一SWIR波长即可满足高精度需求。
• 模型准确率仅在极低分辨率下出现下降，表明低分辨率SWIR传感器（如320x240）可保持强劲性能，显著降低硬件成本。
• 多通道输入的早期融合始终优于评分级与特征级融合，后两者常导致性能下降。
• RGB-SWIR组合在未见攻击上表现出极强泛化能力，是安全关键应用的理想选择。