[论文解读] Face De-Spoofing: Anti-Spoofing via Noise Modeling

Amin Jourabloo, Yaojie Liu+1 more|arXiv (Cornell University)|Jul 26, 2018

Biometric Identification and Security参考文献 28被引用 15

一句话总结

本文提出了一种新颖的人脸反 spoofing方法，通过使用带有约束监督的卷积神经网络（CNN），将欺骗行为建模为将图像分解为真实人脸和欺骗噪声模式的过程。通过在无真实人脸监督的情况下估计欺骗噪声，该方法实现了最先进的反欺骗性能，并揭示了不同欺骗类型下的判别性噪声模式，实验验证基于 Oulu-NPU 和 CASIA-WEBBI 数据集。

ABSTRACT

Many prior face anti-spoofing works develop discriminative models for recognizing the subtle differences between live and spoof faces. Those approaches often regard the image as an indivisible unit, and process it holistically, without explicit modeling of the spoofing process. In this work, motivated by the noise modeling and denoising algorithms, we identify a new problem of face de-spoofing, for the purpose of anti-spoofing: inversely decomposing a spoof face into a spoof noise and a live face, and then utilizing the spoof noise for classification. A CNN architecture with proper constraints and supervisions is proposed to overcome the problem of having no ground truth for the decomposition. We evaluate the proposed method on multiple face anti-spoofing databases. The results show promising improvements due to our spoof noise modeling. Moreover, the estimated spoof noise provides a visualization which helps to understand the added spoof noise by each spoof medium.

研究动机与目标

• 解决现有面部反欺骗方法在处理欺骗检测时缺乏可解释性和泛化能力的问题，这些方法通常将欺骗检测视为黑箱分类任务。
• 通过设计弱监督学习框架，克服在欺骗图像分解过程中缺乏真实人脸监督的挑战。
• 将欺骗过程建模为噪声注入机制，从而实现对欺骗噪声与底层真实人脸的逆向分解。
• 实现欺骗噪声模式的可视化与分析，以理解打印和重放攻击等介质特有的伪影特征。
• 证明即使在训练阶段未提供欺骗介质标签的情况下，所估计的欺骗噪声仍具有高度判别性，可用于分类不同类型的欺骗。

提出的方法

• 提出一种基于 CNN 的图像分解网络，能够从未知的欺骗输入图像中估计出真实人脸与欺骗噪声。
• 通过重建损失强制真实（活体）人脸的欺骗噪声为零，确保模型学习到对真实样本输出为零噪声。
• 施加空间上均匀且重复的噪声约束，以鼓励欺骗噪声在整个图像中具有普遍性和结构性。
• 使用高通滤波器提取估计噪声的高频分量，以提升可视化效果与分类性能。
• 采用多任务损失函数进行训练，结合重建损失、欺骗噪声规律性约束与身份保持损失，以稳定优化过程。
• 在下游反欺骗分类任务中，利用估计的欺骗噪声作为判别性特征，即使在训练阶段未提供欺骗介质标签的情况下也能实现有效分类。

实验结果

研究问题

• RQ1 是否可以将欺骗建模为噪声注入过程，并在无真实人脸监督的情况下，从未知的欺骗图像中逆向估计出噪声？
• RQ2 当训练过程中无法获取真实人脸时，如何训练深度学习模型将欺骗人脸分解为真实人脸与欺骗噪声？
• RQ3 所估计的欺骗噪声模式是否具有足够的判别性，能够有效区分不同欺骗介质（如打印与重放攻击）？
• RQ4 所估计欺骗噪声的高频分量是否能揭示对反欺骗或法医学分析有用的介质特异性特征？
• RQ5 与现有最先进方法相比，该方法在基准数据集上的反欺骗性能是否得到提升？

主要发现

• 所提方法在 Oulu-NPU 和 CASIA-WEBBI 数据集上实现了最先进性能，展现出卓越的泛化能力与鲁棒性。
• 所估计的欺骗噪声具有高度判别性：仅使用噪声模式，3类支持向量机（SVM）分类器（真实、打印、显示）在欺骗介质分类任务中达到 82.0% 的准确率。
• 5类分类器（真实、打印1、打印2、显示1、显示2）达到 54.3% 的准确率，表明即使未显式提供监督，噪声仍编码了介质特异性信息。
• 所估计欺骗噪声的可视化结果揭示了相同欺骗介质下一致的空间模式，且不同介质具有独特的颜色与纹理特征。
• 所估计噪声的高频带包含对欺骗介质分类最具判别性的信息，支持其在法医学分析中的应用价值。
• 失败案例稀少，主要源于噪声估计错误，表明模型整体具有较高稳定性，未来仍有优化空间。