[论文解读] CASIA-SURF: A Large-scale Multi-modal Benchmark for Face Anti-spoofing

Shifeng Zhang, Ajian Liu+6 more|arXiv (Cornell University)|Aug 28, 2019

Biometric Identification and Security参考文献 60被引用 17

一句话总结

本论文提出了 CASIA-SURF，一个大规模多模态人脸反欺诈基准数据集，包含1,000名受试者、21,000段视频以及三种模态（RGB、深度和红外）。该工作提出了一种具有模态特异性特征重加权的多模态多尺度融合方法，在性能上达到当前最先进水平，并在跨数据集评估中展现出强大的泛化能力。

ABSTRACT

Face anti-spoofing is essential to prevent face recognition systems from a security breach. Much of the progresses have been made by the availability of face anti-spoofing benchmark datasets in recent years. However, existing face anti-spoofing benchmarks have limited number of subjects ($\le egmedspace170$) and modalities ($\leq egmedspace2$), which hinder the further development of the academic community. To facilitate face anti-spoofing research, we introduce a large-scale multi-modal dataset, namely CASIA-SURF, which is the largest publicly available dataset for face anti-spoofing in terms of both subjects and modalities. Specifically, it consists of $1,000$ subjects with $21,000$ videos and each sample has $3$ modalities (i.e., RGB, Depth and IR). We also provide comprehensive evaluation metrics, diverse evaluation protocols, training/validation/testing subsets and a measurement tool, developing a new benchmark for face anti-spoofing. Moreover, we present a novel multi-modal multi-scale fusion method as a strong baseline, which performs feature re-weighting to select the more informative channel features while suppressing the less useful ones for each modality across different scales. Extensive experiments have been conducted on the proposed dataset to verify its significance and generalization capability. The dataset is available at https://sites.google.com/qq.com/face-anti-spoofing/welcome/challengecvpr2019?authuser=0

研究动机与目标

• 解决现有大规模、多模态人脸反欺诈数据集在受试者多样性与模态多样性方面不足的问题。
• 克服现有基准的局限性，如受试者数量少（≤170）、模态数量有限（≤2）以及评估多样性不足。
• 提供全面的评估指标，包括ROC曲线，以更好地反映真实应用场景需求，而不仅局限于标准错误率。
• 构建一个稳健的基准，包含标准化的训练/验证/测试划分和测量工具，以确保可复现性和公平比较。
• 通过在CASIA-MFSD及其他基准上的跨数据集评估，展示基于CASIA-SURF训练的模型的泛化能力。

提出的方法

• 使用RealSense相机从1,000名受试者中采集21,000段视频，涵盖RGB、深度和红外三种模态。
• 提出一种新颖的多模态多尺度融合网络，可在不同尺度上实现模态相关的特征重加权。
• 该方法自适应地抑制信息量较少的通道特征，同时增强各模态中更具判别性的特征。
• 采用多尺度特征提取策略，以捕捉多个感受野下的空间与通道级表征。
• 使用测量工具和标准化评估协议（包括跨数据集测试），以确保一致性和公平性。
• 以ROC曲线作为主要评估指标，更好地反映真实部署需求，特别是低误报率场景。

实验结果

研究问题

• RQ1 大规模、多模态人脸反欺诈基准是否能显著提升模型在多种攻击类型下的泛化能力和性能？
• RQ2 具有模态特异性重加权的多模态特征融合在提升欺骗检测准确率方面效果如何？
• RQ3 在CASIA-SURF上训练的模型是否相比在小规模数据集上训练的模型，在CASIA-MFSD等现有基准上表现更优？
• RQ4 与传统指标（如APCER和NPCER）相比，基于ROC曲线的指标在多大程度上更能反映真实应用场景的适用性？
• RQ5 所提出的多尺度融合方法是否能在内部和跨数据集评估协议下均优于现有最先进方法？

主要发现

• 所提出的多模态多尺度融合模型在CASIA-SURF上达到ACER为0.80%，APCER为1.27%，NPCER为0.33%，表明其具有强大的检测性能。
• 在跨数据集评估中，基于CASIA-SURF训练的模型在CASIA-MFSD上达到HTER为37.3%，优于在Replay-Attack（47.9%）和SiW（39.4%）上训练的模型。
• 在CASIA-SURF上训练的模型泛化能力优于在小规模数据集上训练的模型，证明了规模与多模态的优越性。
• 使用ROC曲线作为主要评估指标揭示出，传统指标如APCER可能低估真实世界风险：即使APCER仅为1.6%，仍可能导致每100次攻击中有约2次误接受。
• 具有模态特异性重加权的多尺度融合机制能有效增强判别性特征并抑制噪声，从而提升模型鲁棒性。
• 该数据集包含1,000名受试者和3种模态，使其在规模与多样性方面成为目前公开的最大人脸反欺诈基准。