[论文解读] Improving Face Anti-Spoofing by 3D Virtual Synthesis

Jianzhu Guo, Xiangyu Zhu+4 more|arXiv (Cornell University)|Jan 2, 2019

Biometric Identification and Security参考文献 45被引用 6

一句话总结

本文提出一种3D虚拟合成方法，通过将印刷照片转换为3D网格，再经弯曲和旋转处理后渲染出透视视角图像，从而生成大规模、逼真的伪造人脸样本。结合数据平衡策略，合成数据显著提升了人脸反 spoofing 性能，在 CASIA-MFSD、Replay-Attack 上达到最先进结果，并在 CASIA-RFS 上实现良好的泛化能力，ACER 为 11.72%，Top-1 准确率为 91.68%。

ABSTRACT

Face anti-spoofing is crucial for the security of face recognition systems. Learning based methods especially deep learning based methods need large-scale training samples to reduce overfitting. However, acquiring spoof data is very expensive since the live faces should be re-printed and re-captured in many views. In this paper, we present a method to synthesize virtual spoof data in 3D space to alleviate this problem. Specifically, we consider a printed photo as a flat surface and mesh it into a 3D object, which is then randomly bent and rotated in 3D space. Afterward, the transformed 3D photo is rendered through perspective projection as a virtual sample. The synthetic virtual samples can significantly boost the anti-spoofing performance when combined with a proposed data balancing strategy. Our promising results open up new possibilities for advancing face anti-spoofing using cheap and large-scale synthetic data.

研究动机与目标

• 解决人脸反spoofing任务中真实伪造人脸训练数据稀缺且成本高昂的问题。
• 提升模型在现有数据集中代表性不足的弯曲和旋转伪造攻击上的泛化能力。
• 通过合成伪造样本实现大规模、低成本的深度学习模型训练。
• 通过一种新颖的数据平衡策略缓解真实与合成伪造样本之间的数据不平衡问题。
• 在跨数据库泛化场景下，验证合成数据与数据平衡策略在内部与跨数据库测试中的有效性。

提出的方法

• 将印刷照片视为平面表面，通过离散化处理转换为3D网格。
• 应用随机的3D变换，包括弯曲和离平面旋转，以模拟真实的伪造攻击场景。
• 使用透视投影渲染变换后的3D网格，从多个视角生成合成的2D伪造图像。
• 结合真实活体人脸数据，采用平衡采样策略训练深度神经网络，以减少类别不平衡问题。
• 引入外部活体人脸数据（如 MultiPIE）以进一步提升模型在未见姿态变化下的泛化能力。
• 采用两阶段训练策略：首先在合成数据上使用平衡采样进行训练，然后在真实数据上微调以增强鲁棒性。

实验结果

研究问题

• RQ1 3D虚拟合成能否生成逼真的伪造人脸样本，从而有效训练深度学习模型用于反spoofing？
• RQ2 结合数据平衡的合成数据是否能提升模型在未见伪造攻击（如弯曲和旋转）上的泛化能力？
• RQ3 在标准基准测试上，基于合成数据训练的模型性能与最先进方法相比如何？
• RQ4 外部活体数据是否能进一步增强基于合成伪造数据训练的模型泛化能力？
• RQ5 所提出方法在包含弯曲和旋转伪造样本的挑战性测试集（如 CASIA-RFS）上是否具有良好的泛化性能？

主要发现

• 在 CASIA-MFSD 上，所提方法达到 2.22% EER 和 1.67% HTER，优于所有先前的最先进方法。
• 在 Replay-Attack 上，方法实现 0.25% EER 和 0.63% HTER，显著优于现有方法。
• 在 CASIA-RFS 的跨数据库测试中，ACER 降低至 11.72%，Top-1 准确率达到 91.68%，较基线提升 9.85%。
• 仅添加合成数据即可使 CASIA-RFS 上的 APCER 从 20.96% 降低至 4.01%，证明了强大的伪造检测能力。
• 合成数据与外部活体数据（MultiPIE）结合后，BPCER 从 50.23% 降低至 18.75%，显著提升了活体人脸分类准确率。
• 数据平衡策略有效缓解了类别不平衡问题，实现了在大规模合成伪造数据上的稳定且优越的训练效果。