[论文解读] Physics-Guided Spoof Trace Disentanglement for Generic Face Anti-Spoofing

Yaojie Liu, Xiaoming Liu|arXiv (Cornell University)|Dec 9, 2020

Biometric Identification and Security参考文献 62被引用 9

一句话总结

该论文提出了一种物理引导的解耦框架 PhySTD，通过建模欺骗行为为加法过程和图像修复（inpainting）过程，将伪造痕迹——如马赫带效应、色彩失真和人工纹理——从伪造人脸中分离出来。该方法在不同频带中解耦伪造痕迹，实现高保真度的真实人脸重建与逼真的伪造样本生成，并在已知、未知及开放集反欺骗基准测试中达到最先进性能，且决策过程具有可解释性与视觉可解释性。

ABSTRACT

Prior studies show that the key to face anti-spoofing lies in the subtle image pattern, termed "spoof trace", e.g., color distortion, 3D mask edge, Moire pattern, and many others. Designing a generic face anti-spoofing model to estimate those spoof traces can improve not only the generalization of the spoof detection, but also the interpretability of the model's decision. Yet, this is a challenging task due to the diversity of spoof types and the lack of ground truth in spoof traces. In this work, we design a novel adversarial learning framework to disentangle spoof faces into the spoof traces and the live counterparts. Guided by physical properties, the spoof generation is represented as a combination of additive process and inpainting process. Additive process describes spoofing as spoof material introducing extra patterns (e.g., moire pattern), where the live counterpart can be recovered by removing those patterns. Inpainting process describes spoofing as spoof material fully covering certain regions, where the live counterpart of those regions has to be "guessed". We use 3 additive components and 1 inpainting component to represent traces at different frequency bands. The disentangled spoof traces can be utilized to synthesize realistic new spoof faces after proper geometric correction, and the synthesized spoof can be used for training and improve the generalization of spoof detection. Our approach demonstrates superior spoof detection performance on 3 testing scenarios: known attacks, unknown attacks, and open-set attacks. Meanwhile, it provides a visually-convincing estimation of the spoof traces. Source code and pre-trained models will be publicly available upon publication.

研究动机与目标

• 为解决现有面部反欺骗模型在面对多样化伪造类型（包括未见过的攻击）时泛化能力不足的问题。
• 通过估计区分真实与伪造人脸的精确视觉模式（称为“伪造痕迹”），提升模型可解释性。
• 通过引入物理先验，开发弱监督解耦框架，克服真实伪造痕迹标注缺失的问题。
• 通过将解耦后的伪造痕迹迁移到新身份上并结合几何校正，实现逼真伪造样本的生成，用于数据增强。

提出的方法

• 该框架将欺骗行为建模为加法过程（如马赫带效应、色彩失真）与图像修复过程（如被面具或彩妆完全覆盖）的组合，基于伪造介质的物理特性进行建模。
• 采用三个频带特定的加法组件（低频、中频、高频）和一个图像修复组件，从输入人脸中解耦伪造痕迹。
• 引入三维变形层，以在合成过程中将伪造痕迹迁移到新真实人脸时校正几何失配。
• 网络采用对抗性学习与解耦损失联合训练，鼓励模型通过去除伪造痕迹来重建真实人脸，同时保留身份特征。
• 利用解耦后的组件，通过将伪造痕迹施加于真实人脸，生成新的伪造样本，提升训练数据的多样性。
• 模型采用弱监督方式训练，仅依赖二值的伪造/真实标签，无需真实伪造痕迹的标注。

实验结果

研究问题

• RQ1 深度学习模型是否能在无需真实标注的情况下，解耦多样化的伪造痕迹（如马赫带效应、色彩失真、人工纹理）？
• RQ2 解耦后的伪造痕迹是否可用于高保真度、几何准确度高的真实人脸重建？
• RQ3 解耦后的伪造痕迹是否可迁移到新身份上，以生成逼真且多样化的伪造样本用于数据增强？
• RQ4 该解耦框架是否能提升在已知、未知及开放集反欺骗场景下的泛化能力？
• RQ5 模型的预测结果是否可通过识别导致该判断的具体伪造痕迹而实现视觉可解释？

主要发现

• 所提出的 PhySTD 框架在已知、未知及开放集反欺骗基准测试中均达到最先进性能，展现出对多样化伪造类型的卓越泛化能力。
• 解耦后的伪造痕迹可实现高保真度的真实人脸重建，t-SNE 可视化结果表明加法痕迹组件（B, C, T）在按伪造类型与语义内容上具有良好的聚类性。
• 图像修复组件特征（P, IP）展现出有意义的空间分布，其幅值在部分遮挡、彩妆及3D面具攻击中更高，验证了解耦过程的物理合理性。
• 在重建过程中逐步移除痕迹组件可逐步优化真实人脸，其中低频痕迹修正了色彩与曝光问题，高频痕迹则去除了网格与纹理伪影。
• 三维变形层在伪造样本生成过程中成功校正了几何错位，实现了伪造痕迹向新身份的准确迁移，未引入伪影。
• 合成的伪造样本视觉上高度逼真，可有效用于数据增强，从而提升反欺骗模型的鲁棒性与泛化能力。