[论文解读] CelebA-Spoof: Large-Scale Face Anti-Spoofing Dataset with Rich Annotations

Yuanhan Zhang, Zhenfei Yin+5 more|arXiv (Cornell University)|Jul 24, 2020

Biometric Identification and Security参考文献 36被引用 24

一句话总结

本论文提出 CelebA-Spoof，一个大规模的人脸反 spoofing 数据集，包含来自 10,177 位被试的 625,537 张图像，涵盖 43 种属性的丰富标注，包括欺骗类型、光照条件、环境以及 40 种面部属性。通过统一的多任务框架（AENet），作者证明了辅助语义标注能显著提升模型性能与泛化能力，在无需微调的情况下于 CASIA-MFSD 上实现了最先进水平的结果。

ABSTRACT

As facial interaction systems are prevalently deployed, security and reliability of these systems become a critical issue, with substantial research efforts devoted. Among them, face anti-spoofing emerges as an important area, whose objective is to identify whether a presented face is live or spoof. Though promising progress has been achieved, existing works still have difficulty in handling complex spoof attacks and generalizing to real-world scenarios. The main reason is that current face anti-spoofing datasets are limited in both quantity and diversity. To overcome these obstacles, we contribute a large-scale face anti-spoofing dataset, CelebA-Spoof, with the following appealing properties: 1) Quantity: CelebA-Spoof comprises of 625,537 pictures of 10,177 subjects, significantly larger than the existing datasets. 2) Diversity: The spoof images are captured from 8 scenes (2 environments * 4 illumination conditions) with more than 10 sensors. 3) Annotation Richness: CelebA-Spoof contains 10 spoof type annotations, as well as the 40 attribute annotations inherited from the original CelebA dataset. Equipped with CelebA-Spoof, we carefully benchmark existing methods in a unified multi-task framework, Auxiliary Information Embedding Network (AENet), and reveal several valuable observations.

研究动机与目标

• 为解决现有面部反欺骗数据集在规模、多样性与丰富标注方面的局限性。
• 构建一个大规模、多样化且密集标注的数据集，以支持反欺骗模型的稳健训练与评估。
• 探究辅助语义与几何信息对模型在各类欺骗攻击下泛化能力与性能的影响。
• 建立标准化基准，用于面部反欺骗中的跨数据集评估与模型泛化。
• 证明丰富的属性监督可超越二值或中级监督，提升模型鲁棒性与性能。

提出的方法

• 作者通过在 8 个会话（2 种环境 × 4 种光照条件）中使用超过 10 种不同传感器，从 10,177 位被试中收集了 625,537 张图像，构建了 CelebA-Spoof 数据集。
• 所有真实图像均来自 CelebA 数据集，而欺骗图像则由专业标注员对欺骗类型、光照条件与环境进行收集与标注。
• 该数据集包含 43 项属性：40 项来自 CelebA 的面部属性，以及 3 项反欺骗专用属性（欺骗类型、光照条件、环境）。
• 提出一种统一的多任务学习框架——辅助信息嵌入网络（AENet），通过语义与几何特征联合学习真实/欺骗分类与辅助任务。
• AENet 利用面部属性、欺骗类型、光照条件、环境以及几何表示（深度图与反照率图）的辅助监督。
• 建立了三种评估协议：协议 1 用于欺骗类型泛化，协议 2 用于传感器差异，以及在 CASIA-MFSD 上进行跨数据集基准测试。

实验结果

研究问题

• RQ1 丰富的语义标注（如面部属性、欺骗类型、光照条件、环境）如何影响面部反欺骗模型的性能与泛化能力？
• RQ2 几何特征（深度图与反照率图）与语义特征在检测多样化欺骗攻击中的相对贡献是什么？
• RQ3 在 CelebA-Spoof 上进行训练在多大程度上能提升模型对未见欺骗场景及真实世界数据集（如 CASIA-MFSD）的泛化能力？
• RQ4 辅助语义监督能否在鲁棒性与准确率方面超越传统的二值或中级几何监督？
• RQ5 在跨域设置下，模型性能在不同传感器质量与环境条件下如何变化？

主要发现

• 在 CelebA-Spoof 上使用 AENet 与语义辅助任务训练的模型，在无需微调的情况下于 CASIA-MFSD 上实现了最先进性能，HTER 达到 11.9%。
• 在 CelebA-Spoof 上微调的基线 ResNet-18 模型在 CASIA-MFSD 上的 HTER 为 14.3%，优于先前最先进方法（如 FAS-TD-SF 的 HTER 为 39.4%）。
• 同时包含语义与几何辅助任务（AENet C,S,G）可将 FPR=0.5% 时的 EER 降低至 73.6%，并在 CelebA-Spoof 协议 1 下将召回率提升至 95.0%。
• 语义信息（面部属性与欺骗类型）的泛化能力优于几何特征，表现为在 CASIA-MFSD 上 AENet C,S 的 HTER 为 12.1%，而 AENet C,G 为 14.1%。
• 全辅助监督模型（AENet C,S,G）在 FPR=0.5% 条件下于 CelebA-Spoof 上实现 95.0% 的召回率与 91.4% 的 AUC，表现出高检测精度。
• 跨传感器基准测试（协议 2）表明，CelebA-Spoof 上训练的模型在低、中、高画质传感器间均具有良好泛化能力，EER 值低于 5%，FPR=0.5% 时低于 2.5%。