[论文解读] CASIA-SURF: A Dataset and Benchmark for Large-scale Multi-modal Face Anti-spoofing.

Shifeng Zhang, Xiaobo Wang+7 more|arXiv (Cornell University)|Dec 2, 2018

Biometric Identification and Security被引用 10

一句话总结

本文介绍了CASIA-SURF，这是目前规模最大、公开可用的面部反 spoofing数据集，包含1,000名受试者、21,000段视频，以及三种模态（RGB、深度、红外），并配套提供了标准化基准、评估协议以及训练/验证/测试划分。本文提出了一种多模态融合方法，通过重新加权有信息量的特征并抑制无用特征，实现了在新基准上的优异性能。

ABSTRACT

Face anti-spoofing is essential to prevent face recognition systems from a security breach. Much of the progresses have been made by the availability of face anti-spoofing benchmark datasets in recent years. However, existing face anti-spoofing benchmarks have limited number of subjects ($\le egmedspace170$) and modalities ($\leq egmedspace2$), which hinder the further development of the academic community. To facilitate future face anti-spoofing research, we introduce a large-scale multi-modal dataset, namely CASIA-SURF, which is the largest publicly available dataset for face anti-spoofing both in terms of subjects and visual modalities. Specifically, it consists of $1,000$ subjects with $21,000$ videos and each sample has $3$ modalities (i.e., RGB, Depth and IR). Associated with this dataset, we also provide concrete measurement set, evaluation protocol and training/validation/testing subsets, developing a new benchmark for face anti-spoofing. Moreover, we present a new multi-modal fusion method as a strong baseline, which performs feature re-weighting to select the more informative channel features while suppressing less useful ones for each modal. Extensive experiments have been conducted on the proposed dataset to verify its significance and generalization capability. Dataset is available at https://sites.google.com/qq.com/chalearnfacespoofingattackdete

研究动机与目标

• 为解决现有面部反欺骗基准中规模有限和模态多样性不足的问题，这些问题阻碍了该领域的发展。
• 提供一个大规模、多模态的数据集，包含1,000名受试者和跨RGB、深度、红外三种模态的21,000段视频。
• 建立一个标准化基准，定义训练、验证和测试子集，以实现一致的评估。
• 开发一种强大的多模态融合基线方法，可自适应地重新加权不同模态中的有信息量特征。
• 支持在大规模、多模态面部反欺骗任务中进行泛化性和可扩展性研究。

提出的方法

• 该数据集CASIA-SURF由1,000名受试者构成，每位受试者在受控条件下采集了三种视觉模态（RGB、深度、红外）的多段视频。
• 定义了标准化的评估协议，包括固定的训练、验证和测试划分，以确保可复现性和公平比较。
• 提出了一种新颖的多模态融合方法，通过逐通道的特征重加权，突出有信息量的特征，抑制无用特征。
• 该方法利用可学习的注意力机制或类似的重加权策略，在融合过程中动态调整特征的重要性。
• 该基准支持大规模、多模态反欺骗任务中深度学习模型的训练与评估。
• 该数据集已公开发布于 https://sites.google.com/qq.com/chalearnfacespoofingattackdete，以促进社区范围的研究。

实验结果

研究问题

• RQ1 在面部反欺骗数据集中，受试者数量和视频多样性增加时，模型性能如何变化？
• RQ2 引入多种视觉模态（RGB、深度、红外）对欺骗检测准确率有何影响？
• RQ3 与简单的拼接或平均方法相比，可学习的特征重加权机制能否提升多模态融合性能？
• RQ4 在CASIA-SURF上训练的模型对未见过的受试者和欺骗攻击的泛化能力如何？
• RQ5 在标准化评估协议下，强多模态融合基线方法在新基准上的性能表现如何？

主要发现

• CASIA-SURF是目前公开可用的最大规模面部反欺骗数据集，包含1,000名受试者和跨RGB、深度、红外三种模态的21,000段视频。
• 所提出的带特征重加权的多模态融合方法通过选择性地强调有信息量的特征并抑制无用特征，实现了卓越的性能。
• 基准中标准化的训练、验证和测试划分使得不同模型之间的评估更加一致且可复现。
• 大量实验证实了该数据集的泛化能力，证明其适用于大规模、多模态反欺骗研究。
• 该数据集和基准已公开发布，以加速面部反欺骗研究的进展。