[论文解读] Multi-domain Learning for Updating Face Anti-spoofing Models

Xiao Guo, Yaojie Liu+2 more|arXiv (Cornell University)|Aug 23, 2022

Biometric Identification and Security被引用 5

一句话总结

本文提出了一种新颖的多域人脸反攻防（MD-FAS）框架，该框架仅使用目标域数据更新预训练的FAS模型，同时保持在源域上的性能。该方法引入了欺骗区域估计器（SRE），以生成高分辨率、像素级的欺骗痕迹作为模型响应的代理，同时提出了FAS-wrapper架构，可无缝集成到多种FAS模型中，在包含四个不同评估协议的新基准上实现了最先进性能。

ABSTRACT

In this work, we study multi-domain learning for face anti-spoofing(MD-FAS), where a pre-trained FAS model needs to be updated to perform equally well on both source and target domains while only using target domain data for updating. We present a new model for MD-FAS, which addresses the forgetting issue when learning new domain data, while possessing a high level of adaptability. First, we devise a simple yet effective module, called spoof region estimator(SRE), to identify spoof traces in the spoof image. Such spoof traces reflect the source pre-trained model's responses that help upgraded models combat catastrophic forgetting during updating. Unlike prior works that estimate spoof traces which generate multiple outputs or a low-resolution binary mask, SRE produces one single, detailed pixel-wise estimate in an unsupervised manner. Secondly, we propose a novel framework, named FAS-wrapper, which transfers knowledge from the pre-trained models and seamlessly integrates with different FAS models. Lastly, to help the community further advance MD-FAS, we construct a new benchmark based on SIW, SIW-Mv2 and Oulu-NPU, and introduce four distinct protocols for evaluation, where source and target domains are different in terms of spoof type, age, ethnicity, and illumination. Our proposed method achieves superior performance on the MD-FAS benchmark than previous methods. Our code and newly curated SIW-Mv2 are publicly available.

研究动机与目标

• 为解决在隐私限制下无法获取源域数据时，更新预训练人脸反攻防（FAS）模型以适应新目标域的挑战。
• 通过保留预训练模型的决策模式，避免依赖logits或激活图，缓解模型更新过程中的灾难性遗忘问题。
• 设计一种与模型无关的框架，可无缝集成到多种FAS架构和损失函数中。
• 建立一个新的MD-FAS基准，涵盖欺骗类型、年龄、种族和光照等多维度的域偏移。
• 在源域和目标域上联合评估模型，以反映真实世界部署的需求。

提出的方法

• 提出欺骗区域估计器（SRE），一种轻量级、无监督模块，可生成单个高分辨率、像素级的二值掩码，指示输入图像中的欺骗区域。
• 将SRE输出用作预训练模型响应的代理，以应对灾难性遗忘，替代精度较低的logits或grad-CAM等方法。
• 引入FAS-wrapper框架，将SRE与知识蒸馏组件无缝整合到任意FAS模型中，仅需极少的架构修改。
• 采用FAS模型的一般化表述，由欺骗线索估计（SCE）层和多尺度特征提取器（MsFE）组成，实现与模型无关的适配。
• 基于SIW、SIW-Mv2和Oulu-NPU构建新基准，设计四个不同的评估协议以模拟真实世界的域偏移。
• 利用SRE生成的欺骗痕迹作为软监督信号，从预训练模型向更新后的模型进行知识蒸馏。

实验结果

研究问题

• RQ1 能否仅使用目标域数据有效更新预训练的FAS模型，同时保持在源域上的性能？
• RQ2 如何在不依赖模型logits或激活图的前提下，以高分辨率、像素级方式准确高效地估计欺骗痕迹？
• RQ3 能否设计一种与模型无关的框架，以支持与多种FAS架构和损失函数的无缝集成？
• RQ4 在无源数据的情况下，该方法与现有防遗忘和域自适应技术相比表现如何？
• RQ5 不同类型的域偏移（如欺骗类型、年龄、种族和光照）对更新后FAS模型泛化能力有何影响？

主要发现

• 所提出的MD-FAS框架在新FASMD基准上实现了最先进性能，在源域与目标域的联合评估中优于先前方法。
• SRE模块生成了高分辨率、细节丰富的欺骗区域二值掩码，显著提升了欺骗定位的精度，优于低分辨率或多痕迹方法。
• FAS-wrapper框架可实现与多种FAS模型的无缝集成，展现出在不同架构和损失函数下的强大适应能力。
• 该方法在模型更新过程中有效缓解了灾难性遗忘，尽管训练期间未访问源数据，仍保持了在源域上的高性能。
• 包含四个不同评估协议的新FASMD基准揭示了现有方法在真实世界域偏移下的显著性能差距，凸显了所提方法的必要性。
• 消融实验表明，基于SRE的知识蒸馏在保持源域性能方面，优于使用logits或grad-CAM的方法。