[论文解读] 3D Face Anti-spoofing with Factorized Bilinear Coding

Shan Jia, Xin Li+3 more|arXiv (Cornell University)|May 12, 2020

Biometric Identification and Security参考文献 75被引用 5

一句话总结

本文提出MC_FBC，一种新颖的3D人脸反 spoofing方法，通过分解双线性编码融合RGB与YCbCr色彩空间中的互补特征，实现对真实人脸与蜡质人像的细粒度分类。该方法在大规模WFFD数据库及多个基准数据集上均达到最先进性能，展现出对高度逼真的3D欺骗攻击的强大鲁棒性。

ABSTRACT

We have witnessed rapid advances in both face presentation attack models and presentation attack detection (PAD) in recent years. When compared with widely studied 2D face presentation attacks, 3D face spoofing attacks are more challenging because face recognition systems are more easily confused by the 3D characteristics of materials similar to real faces. In this work, we tackle the problem of detecting these realistic 3D face presentation attacks, and propose a novel anti-spoofing method from the perspective of fine-grained classification. Our method, based on factorized bilinear coding of multiple color channels (namely MC\_FBC), targets at learning subtle fine-grained differences between real and fake images. By extracting discriminative and fusing complementary information from RGB and YCbCr spaces, we have developed a principled solution to 3D face spoofing detection. A large-scale wax figure face database (WFFD) with both images and videos has also been collected as super-realistic attacks to facilitate the study of 3D face presentation attack detection. Extensive experimental results show that our proposed method achieves the state-of-the-art performance on both our own WFFD and other face spoofing databases under various intra-database and inter-database testing scenarios.

研究动机与目标

• 为应对日益严峻的高仿真3D人脸欺骗攻击，特别是使用蜡质人像的攻击，此类攻击现有方法难以检测。
• 开发一种细粒度分类方法，通过利用多色彩空间中的互补特征，捕捉真实与伪造人脸之间的细微差异。
• 构建一个大规模、多样化且高度逼真的3D人脸欺骗数据库（WFFD），包含图像与视频，以更有效地评估反欺骗方法。
• 在弱光照明和面部遮挡等挑战性条件下提升检测鲁棒性，此类条件下传统方法往往失效。
• 提供公开可用的代码库与数据集（WFFD），以加速3D人脸反欺骗领域的研究。

提出的方法

• 提出MC_FBC（多色彩分解双线性编码），通过在RGB与YCbCr色彩通道间分解双线性特征，学习具有判别性的表征。
• 从预训练的CNN（VGG-16与ResNet-50）在RGB与YCbCr空间中提取深层特征，以捕捉互补的视觉线索。
• 应用分解双线性编码，高效建模通道间交互，降低计算成本，同时保持判别能力。
• 使用Grad-CAM与引导式Grad-CAM可视化分析注意力机制，证实MC_FBC聚焦于鼻部与人中等生物上合理的区域。
• 采用双流特征融合策略，在双线性编码前分别处理RGB与YCbCr通道的CNN分支输出。
• 通过在WFFD及其他标准欺骗数据库上采用内部数据集与跨数据集评估协议验证该方法。

实验结果

研究问题

• RQ1 分解双线性编码能否有效学习细粒度判别特征，以检测高仿真3D人脸欺骗攻击，特别是蜡质人像攻击？
• RQ2 与单色彩空间方法相比，融合RGB与YCbCr等多色彩空间特征是否能提升3D人脸反欺骗的鲁棒性与准确性？
• RQ3 在弱光照明与面部遮挡等真实世界挑战性条件下，所提出的MC_FBC方法表现如何？
• RQ4 所提出的WFFD数据库因其高度多样性与逼真性，在多大程度上能实现对反欺骗模型更优的评估与泛化能力？
• RQ5 该方法在不同数据库上是否具备泛化能力，包括不同欺骗材料与采集条件的数据集？

主要发现

• 所提出的MC_FBC方法在新构建的WFFD数据库上达到最先进性能，显著优于现有3D人脸反欺骗方法。
• 在WFFD数据集上，MC_FBC在内部数据集测试中实现零错误检测率，表明其在自身基准上的高度可靠性。
• 在跨数据集测试中，该方法仍保持竞争力，错误率低于10%，表明其在任务难度较高的情况下仍具备强大的泛化能力。
• 可视化结果表明，MC_FBC聚焦于鼻部与人中等生物相关面部区域，与人类视觉感知一致，增强可解释性。
• YCbCr色彩空间在弱光条件下更具鲁棒性，而RGB在眼镜等遮挡情况下表现更优，证实多通道融合的价值。
• 该方法在准确率与注意力定位一致性方面，均优于标准CNN（如VGG-16）与标准双线性编码（FBC），尤其在易混淆样本上表现更优。