[论文解读] Benchmarking Joint Face Spoofing and Forgery Detection with Visual and Physiological Cues

Zitong Yu, Rizhao Cai+4 more|arXiv (Cornell University)|Aug 10, 2022

Biometric Identification and Security被引用 7

一句话总结

本文提出了首个结合视觉外观与生理rPPG线索的联合人脸欺骗检测与伪造检测基准。提出了一种带有加权批量归一化和层归一化的双分支rPPG网络，用于多模态融合，结果表明联合训练显著提升了在两项任务上的泛化能力，尤其是在3D面具和深度伪造等高难度攻击场景下表现突出。

ABSTRACT

Face anti-spoofing (FAS) and face forgery detection play vital roles in securing face biometric systems from presentation attacks (PAs) and vicious digital manipulation (e.g., deepfakes). Despite promising performance upon large-scale data and powerful deep models, the generalization problem of existing approaches is still an open issue. Most of recent approaches focus on 1) unimodal visual appearance or physiological (i.e., remote photoplethysmography (rPPG)) cues; and 2) separated feature representation for FAS or face forgery detection. On one side, unimodal appearance and rPPG features are respectively vulnerable to high-fidelity face 3D mask and video replay attacks, inspiring us to design reliable multi-modal fusion mechanisms for generalized face attack detection. On the other side, there are rich common features across FAS and face forgery detection tasks (e.g., periodic rPPG rhythms and vanilla appearance for bonafides), providing solid evidence to design a joint FAS and face forgery detection system in a multi-task learning fashion. In this paper, we establish the first joint face spoofing and forgery detection benchmark using both visual appearance and physiological rPPG cues. To enhance the rPPG periodicity discrimination, we design a two-branch physiological network using both facial spatio-temporal rPPG signal map and its continuous wavelet transformed counterpart as inputs. To mitigate the modality bias and improve the fusion efficacy, we conduct a weighted batch and layer normalization for both appearance and rPPG features before multi-modal fusion. We find that the generalization capacities of both unimodal (appearance or rPPG) and multi-modal (appearance+rPPG) models can be obviously improved via joint training on these two tasks. We hope this new benchmark will facilitate the future research of both FAS and deepfake detection communities.

研究动机与目标

• 解决因单一依赖外观或rPPG特征而导致的人脸反欺骗（FAS）与深度伪造检测中的泛化差距问题。
• 探索联合训练FAS与人脸伪造检测的可行性，以利用周期性rPPG与清晰外观等共享特征。
• 开发一种稳健的多模态融合策略，减轻模态偏差并增强特征判别能力。
• 建立一个包含多样化攻击类型（包括高保真3D面具与深度伪造）的新基准，以支持标准化评估。
• 研究多任务学习、融合策略与采样方法对模型在未见攻击场景下泛化能力的影响。

提出的方法

• 提出一种双分支生理网络，同时输入面部时空rPPG信号图及其连续小波变换结果，以增强rPPG周期性判别能力。
• 引入加权批量归一化与层归一化技术，在多模态融合前平衡外观与rPPG特征，降低模态偏差。
• 采用共享主干网络（ResNet与ViT）对FAS（真实/欺骗）与人脸伪造检测（真实/深度伪造）任务进行联合训练。
• 评估多种融合策略，包括早期融合、晚期融合与特征级融合，重点采用特征级融合以提升性能。
• 测试多种采样策略——随机采样、交替采样、任务分步采样与同步采样——以评估联合训练的稳定性与泛化能力。
• 使用t-SNE可视化特征分布，证明联合训练场景下特征聚类更紧凑、分离更清晰。

实验结果

研究问题

• RQ1 与单独训练相比，联合训练人脸反欺骗与人脸伪造检测是否能提升对多样化攻击类型的泛化能力？
• RQ2 在高保真欺骗攻击下，视觉外观与rPPG线索的多模态融合如何影响检测性能？
• RQ3 在多任务学习框架中，结合外观与rPPG特征的最优融合策略是什么？
• RQ4 联合训练期间采用不同采样策略如何影响模型稳定性与跨域泛化能力？
• RQ5 来自相关人脸分析任务（如性别、种族、表情）的共享表征在联合人脸攻击检测中有多大益处？

主要发现

• 在FAS与人脸伪造检测任务上进行联合训练，显著提升了泛化能力，尤其在未见攻击（如高保真3D面具与深度伪造）场景下表现优异。
• 最佳性能通过共享主干网络（ResNet）与共享前8个ViT块实现，各任务使用独立分类头。
• 从两项任务中随机采样小批量数据的策略优于交替或分步采样策略，后者因知识冲突导致预测不稳定。
• 加权批量归一化与层归一化策略有效缓解了模态偏差，提升了外观与rPPG特征融合的效率。
• t-SNE可视化结果证实，联合训练使特征聚类更紧凑、分离更清晰，表明判别能力与泛化能力均得到增强。
• 即使仅使用两项任务的真实样本进行联合训练，仍能提升跨测试性能，表明该方法在真实场景中具有实际应用价值（因真实数据更易获取）。