[论文解读] Few-Shot Domain Expansion for Face Anti-Spoofing

Bowen Yang, Jing Zhang+2 more|arXiv (Cornell University)|Jun 27, 2021

Biometric Identification and Security参考文献 44被引用 7

一句话总结

该论文提出了一种基于风格迁移的增强方法——语义对齐风格迁移增强（SASA）框架，以解决少样本域扩展的人脸抗伪造问题（FSDE-FAS），即在仅获得新目标域中少量标注样本的情况下进行模型部署。通过生成逼真的风格迁移增强数据来弥合源域与目标域之间的差距，并结合对比语义对齐与渐进式对抗训练，SASA在目标域上的性能提升超过100%，同时在源域上的性能下降控制在2%以内。

ABSTRACT

Face anti-spoofing (FAS) is an indispensable and widely used module in face recognition systems. Although high accuracy has been achieved, a FAS system will never be perfect due to the non-stationary applied environments and the potential emergence of new types of presentation attacks in real-world applications. In practice, given a handful of labeled samples from a new deployment scenario (target domain) and abundant labeled face images in the existing source domain, the FAS system is expected to perform well in the new scenario without sacrificing the performance on the original domain. To this end, we identify and address a more practical problem: Few-Shot Domain Expansion for Face Anti-Spoofing (FSDE-FAS). This problem is challenging since with insufficient target domain training samples, the model may suffer from both overfitting to the target domain and catastrophic forgetting of the source domain. To address the problem, this paper proposes a Style transfer-based Augmentation for Semantic Alignment (SASA) framework. We propose to augment the target data by generating auxiliary samples based on photorealistic style transfer. With the assistant of the augmented data, we further propose a carefully designed mechanism to align different domains from both instance-level and distribution-level, and then stabilize the performance on the source domain with a less-forgetting constraint. Two benchmarks are proposed to simulate the FSDE-FAS scenarios, and the experimental results show that the proposed SASA method outperforms state-of-the-art methods.

研究动机与目标

• 为解决在仅拥有目标域少量标注样本的新环境中部署人脸抗伪造系统这一实际挑战。
• 在不损害原始源域性能的前提下提升新目标域的性能，避免灾难性遗忘。
• 通过生成语义对齐的、逼真的增强样本，弥合源域与目标域之间的域差距。
• 通过引入对源域特征的少遗忘约束，稳定模型的泛化能力。
• 在真实世界的少样本域扩展基准上验证所提框架的有效性。

提出的方法

• 通过将目标域的风格迁移至源域内容，应用逼真风格迁移（WCT2）生成一个辅助域，以保留身份信息和伪造痕迹语义。
• 应用实例级别的对比语义对齐，使源域与目标域中同类别样本在特征空间中更接近。
• 采用渐进式对抗训练，通过逐步减小特征分布层面的域偏移，实现域分布对齐。
• 引入对源域的少遗忘约束，惩罚训练过程中源域特征表示的大幅变化。
• 联合使用源域数据、目标域数据和增强的辅助数据进行训练，采用结合对比损失、对抗损失与遗忘正则化项的多任务损失函数。
• 利用t-SNE可视化分析特征空间聚类情况与域对齐效果。

实验结果

研究问题

• RQ1 逼真的风格迁移能否生成有效的辅助样本，以有效弥合人脸抗伪造中源域与目标域之间的域差距？
• RQ2 联合使用增强数据与双层次域对齐（实例级与分布级）是否能在不损害源域性能的前提下提升目标域的泛化能力？
• RQ3 所提出的少遗忘约束在多大程度上缓解了源域上的灾难性遗忘？
• RQ4 对比语义对齐与渐进式对抗训练在目标域性能提升中的单独作用与协同作用分别是什么？
• RQ5 所提出的SASA框架是否能在仅使用少量标注样本的情况下，实现在目标域上的显著性能提升，同时保持源域的稳定性？

主要发现

• 所提出的SASA方法在目标域上的性能相比基线方法提升超过100%，源域性能波动仅为2%。
• 对比语义对齐与渐进式对抗学习的结合取得了最佳性能，优于单独使用任一策略。
• 与非渐进式方法相比，渐进式对抗训练策略使目标域性能提升约2%（10.32% vs. 11.94%）。
• t-SNE可视化结果表明，增强样本在特征空间中位于源域与目标域之间，实现了更平滑的域过渡与更优的决策边界形成。
• 源域少遗忘约束显著减少了源域上的性能退化，有效保留了判别性特征，同时不损害目标域的适应能力。
• 所提出的SASA框架在两个新设计的、模拟真实世界少样本域扩展场景的基准上，优于当前最先进方法。