[论文解读] A Dataset and Benchmark for Large-scale Multi-modal Face Anti-spoofing

Shifeng Zhang, Xiaobo Wang+7 more|arXiv (Cornell University)|Dec 2, 2018

Biometric Identification and Security参考文献 50被引用 18

一句话总结

本文提出了CASIA-SURF，这是目前公开可用的最大规模多模态人脸反攻防数据集，包含1,000名受试者、21,000段视频以及三种模态（RGB、深度、红外），支持大规模训练与评估。本文提出了一种新颖的多模态融合方法，采用模态相关的特征重加权机制，并倡导使用ROC曲线作为评估标准，以更真实地反映实际部署中的性能表现，实验证明该方法在基准测试协议下具备更优的泛化能力与鲁棒性。

ABSTRACT

Face anti-spoofing is essential to prevent face recognition systems from a security breach. Much of the progresses have been made by the availability of face anti-spoofing benchmark datasets in recent years. However, existing face anti-spoofing benchmarks have limited number of subjects ($\le egmedspace170$) and modalities ($\leq egmedspace2$), which hinder the further development of the academic community. To facilitate face anti-spoofing research, we introduce a large-scale multi-modal dataset, namely CASIA-SURF, which is the largest publicly available dataset for face anti-spoofing in terms of both subjects and visual modalities. Specifically, it consists of $1,000$ subjects with $21,000$ videos and each sample has $3$ modalities (i.e., RGB, Depth and IR). We also provide a measurement set, evaluation protocol and training/validation/testing subsets, developing a new benchmark for face anti-spoofing. Moreover, we present a new multi-modal fusion method as baseline, which performs feature re-weighting to select the more informative channel features while suppressing the less useful ones for each modal. Extensive experiments have been conducted on the proposed dataset to verify its significance and generalization capability. The dataset is available at https://sites.google.com/qq.com/chalearnfacespoofingattackdete

研究动机与目标

• 解决人脸反攻防领域中缺乏大规模、多模态数据集的问题，该问题限制了模型的泛化能力与性能评估。
• 克服现有基准数据集受试者数量少（≤170人）和模态数量有限（≤2种）的局限性。
• 提出一种基于ROC曲线的标准化评估协议，以更准确反映真实世界部署需求，特别是低误报率场景。
• 提出一种新型多模态融合方法，可自适应地对RGB、深度和红外模态中的信息特征进行重加权。
• 在SiW和CASIA-MFSD数据集上通过跨数据集评估，验证基于CASIA-SURF训练的模型具备优异的泛化能力。

提出的方法

• 提出CASIA-SURF，一个大规模数据集，包含1,000名受试者、21,000段视频片段，以及三种视觉模态：RGB、深度和红外（IR）。
• 设计一种多模态融合网络，通过模态特定的特征重加权机制，突出有用通道特征并抑制无用特征。
• 定义标准化的评估协议，包含训练、验证和测试划分，并设置三种不同的测试协议以评估跨数据集泛化能力。
• 采用受试者工作特征（ROC）曲线作为主要评估指标，重点关注极低误报率下的真正率（例如FPR = 10⁻⁴），以反映真实世界适用性。
• 使用Intel RealSense相机采集数据，确保深度与红外数据与RGB帧在空间上精确对齐。
• 包含六类欺骗攻击类型（如打印、剪切、弯曲、远距离攻击等），以模拟多样化的现实世界呈现攻击。

实验结果

研究问题

• RQ1 大规模、多模态数据集是否能显著提升人脸反攻防模型的泛化能力与鲁棒性？
• RQ2 与单模态或简单早期融合方法相比，采用模态相关特征重加权的多模态特征融合方法在欺骗检测性能上是否具有明显提升？
• RQ3 在CASIA-SURF上进行训练，能在SiW和CASIA-MFSD等跨数据集基准上实现多大程度的性能提升？
• RQ4 与传统指标（如ACER）相比，ROC曲线是否更能反映真实世界部署场景下的性能表现？
• RQ5 不同类型的欺骗攻击（如打印攻击与重放攻击）在不同模态上的表现如何，对模型性能有何影响？

主要发现

• 在CASIA-SURF基准上，基于CASIA-SURF训练的FAS-TD-SF模型取得了0.80%的ACER，显著优于先前方法。
• 在SiW数据集上，经CASIA-SURF微调后的模型在协议3下实现了0.17%的ACER，展现出强大的零样本泛化能力。
• 在CASIA-MFSD上测试时，基于CASIA-SURF训练的模型取得了37.3%的HTER，优于在Replay-Attack上训练的模型（45.5%）及其他基线模型。
• 在误报率为10⁻⁴时，最佳模型的真正率仅为56.8%，凸显了标准指标与真实世界需求之间的差距。
• ROC曲线分析表明，传统指标（如ACER）无法有效捕捉在超低误报率下的关键性能表现，从而证明了采用ROC曲线评估的必要性。
• 采用模态相关特征重加权的多模态融合方法能有效抑制噪声或信息量较低的特征，从而在所有模态上均提升了整体检测准确率。