[论文解读] On Disentangling Spoof Trace for Generic Face Anti-Spoofing

Yaojie Liu, Joel Stehouwer+1 more|arXiv (Cornell University)|Jul 17, 2020

Biometric Identification and Security参考文献 49被引用 12

一句话总结

本文提出了一种新颖的对抗性学习框架——欺骗痕迹解耦网络（Spoof Trace Disentanglement Network, STDN），以显式地提取并解耦人脸图像中的欺骗痕迹（如色彩失真、摩尔纹图案和高光）用于通用反欺骗。通过将这些痕迹解耦为分层多尺度组件，并利用它们重建真实人脸、合成逼真的欺骗样本，该方法在已见与未见欺骗类型上均实现了最先进性能，在Oulu-NPU协议1上的ACER为1.1%。

ABSTRACT

Prior studies show that the key to face anti-spoofing lies in the subtle image pattern, termed "spoof trace", e.g., color distortion, 3D mask edge, Moire pattern, and many others. Designing a generic anti-spoofing model to estimate those spoof traces can improve not only the generalization of the spoof detection, but also the interpretability of the model's decision. Yet, this is a challenging task due to the diversity of spoof types and the lack of ground truth in spoof traces. This work designs a novel adversarial learning framework to disentangle the spoof traces from input faces as a hierarchical combination of patterns at multiple scales. With the disentangled spoof traces, we unveil the live counterpart of the original spoof face, and further synthesize realistic new spoof faces after a proper geometric correction. Our method demonstrates superior spoof detection performance on both seen and unseen spoof scenarios while providing visually convincing estimation of spoof traces. Code is available at https://github.com/yaojieliu/ECCV20-STDN.

研究动机与目标

• 为解决现有人脸识别反欺骗模型在可解释性与泛化能力方面的不足，通过显式识别潜在欺骗痕迹。
• 通过解耦表示学习框架，克服多样欺骗类型及欺骗痕迹缺乏真实标签的挑战。
• 利用解耦后的欺骗痕迹合成逼真欺骗样本，用于数据增强与模型训练优化。
• 通过估计并可视化真实欺骗图案，为模型决策提供视觉解释。

提出的方法

• 设计基于生成对抗网络的架构，其中生成器将欺骗痕迹解耦为四个分层组件：空间图案（s）、背景（b）、色彩失真（C）与纹理（T）。
• 采用多尺度判别器，确保真实人脸重建的高保真度与基于解耦痕迹的欺骗人脸合成的真实性。
• 引入三维形变层，以校正从源人脸到目标人脸在合成过程中因几何差异导致的欺骗痕迹转移偏差。
• 采用三阶段训练策略：第一阶段，使用对抗损失训练生成器；第二阶段，利用感知损失与重建损失优化解耦组件；第三阶段，使用带有解耦痕迹监督的合成欺骗样本微调生成器。
• 利用解耦后的欺骗痕迹作为伪真实标签，监督新欺骗样本的生成，提升数据多样性与模型鲁棒性。
• 应用像素级重建损失（L_P）以提升重建真实人脸与合成欺骗图像的保真度。

实验结果

研究问题

• RQ1 深度学习模型能否在无真实标签的情况下，有效从输入人脸中解耦多种多样且复杂的欺骗痕迹（如摩尔纹、色彩失真、人工化妆）？
• RQ2 解耦欺骗痕迹是否能提升模型对训练分布外未见欺骗类型的泛化能力？
• RQ3 解耦后的欺骗痕迹是否可用于重建原始真实人脸，并合成逼真的新欺骗样本？
• RQ4 所提出的三维形变层在人脸间欺骗痕迹转移过程中如何提升几何一致性？
• RQ5 解耦后的欺骗痕迹在多大程度上增强了模型的可解释性，并为反欺骗决策提供视觉依据？

主要发现

• 所提出的STDN在Oulu-NPU协议1上实现了1.1%的ACER，优于先前方法，在已见与未见欺骗类型上均展现出最先进性能。
• 消融实验证实，包含解耦组件（s, b, C, T）与三维形变层的完整STDN将ACER从基线的2.6%降低至1.1%，其中最大提升来自使用高质量合成欺骗样本。
• 解耦后的欺骗痕迹在视觉上具有说服力，能准确定位关键欺骗特征，如重放攻击中的摩尔纹、打印攻击中的色彩失真以及人工化妆特征。
• 三维形变层显著减少了欺骗合成过程中的几何错位，实现了欺骗痕迹向新身份的准确转移，且无身份信息泄露。
• 模型能成功从欺骗输入中重建真实人脸，表明解耦痕迹准确捕捉了欺骗与真实呈现之间的本质差异。
• 解耦后的欺骗痕迹包含充分的判别信息，表现为仅使用估计痕迹进行分类的准确率可达86.3%（三分类）与80.6%（五分类），证明其在欺骗媒介识别中的实用性。