[论文解读] Dual Reweighting Domain Generalization for Face Presentation Attack Detection

Shubao Liu, Ke-Yue Zhang+7 more|arXiv (Cornell University)|Jun 30, 2021

Biometric Identification and Security参考文献 19被引用 6

一句话总结

本文提出了一种名为双重新加权域泛化（DRDG）的新框架，用于人脸反攻防 spoofing 任务，通过迭代地重新加权样本和特征，提升模型在未见域上的泛化能力。通过引入样本重新加权模块（SRM）与特征重新加权模块（FRM），两者协同优化模型训练过程，DRDG 在多个基准数据集上实现了最先进（SOTA）的性能表现，显著优于现有的域泛化方法。

ABSTRACT

Face anti-spoofing approaches based on domain generalization (DG) have drawn growing attention due to their robustness for unseen scenarios. Previous methods treat each sample from multiple domains indiscriminately during the training process, and endeavor to extract a common feature space to improve the generalization. However, due to complex and biased data distribution, directly treating them equally will corrupt the generalization ability. To settle the issue, we propose a novel Dual Reweighting Domain Generalization (DRDG) framework which iteratively reweights the relative importance between samples to further improve the generalization. Concretely, Sample Reweighting Module is first proposed to identify samples with relatively large domain bias, and reduce their impact on the overall optimization. Afterwards, Feature Reweighting Module is introduced to focus on these samples and extract more domain-irrelevant features via a self-distilling mechanism. Combined with the domain discriminator, the iteration of the two modules promotes the extraction of generalized features. Extensive experiments and visualizations are presented to demonstrate the effectiveness and interpretability of our method against the state-of-the-art competitors.

研究动机与目标

• 为解决现有域泛化方法在人脸反攻防 spoofing 任务中对所有样本一视同仁的问题，该问题导致因域偏差而性能下降。
• 通过识别并减轻高度域偏差样本在训练过程中的影响，提升模型泛化能力。
• 开发一种训练策略，优先处理低偏差样本，随后通过自蒸馏机制优化高偏差样本的特征，以实现更好的泛化效果。
• 通过迭代地重新加权样本与特征，使模型能够学习到更多与域无关的、通用的特征。

提出的方法

• 样本重新加权模块（SRM）识别出具有较大域偏差的样本，并为其分配较低的训练权重，以减少其对优化过程的干扰影响。
• 特征重新加权模块（FRM）采用自蒸馏机制，聚焦于高偏差样本，通过基于注意力的通道重新加权，提取更多与域无关的特征。
• 两个模块通过与域判别器相互竞争的方式迭代更新，确保优化过程稳定并提升特征的紧凑性。
• SRM 基于域差异设计可学习的加权机制，在训练过程中动态调整样本的重要性。
• FRM 通过强调注意力图中高能量、以人脸为中心的通道，促进特征泛化，同时过滤掉背景和风格等非通用特征。
• 该框架整合了域对抗训练，其中域判别器促使模型学习域不变的表示。

实验结果

研究问题

• RQ1 如何通过在训练过程中减少高度域偏差样本的负面影响，来提升人脸反攻防 spoofing 中的域泛化能力？
• RQ2 样本与特征的迭代重新加权是否能共同增强模型学习通用、域不变表示的能力？
• RQ3 是否优先处理低偏差样本再处理高偏差样本，能够带来更稳定且高效的域泛化优化？
• RQ4 在特征重新加权中引入自蒸馏机制，在多大程度上提升了所学特征的紧凑性与泛化能力？
• RQ5 与基线域泛化策略相比，所提出的模块在特征分布与泛化性能方面表现如何？

主要发现

• DRDG 在所有评估基准上均取得最佳性能，显著优于基线模型及所有消融实验变体，包括仅使用 SRM 或 FRM 的模型。
• 消融研究证实，FRM 通过自蒸馏机制增强了泛化能力；而 FRM_reverse（将域特征进一步分离）的表现反而劣于基线。
• SRM 有效识别并降低高偏差样本的权重，t-SNE 可视化结果表明，低权重样本分布更分散，异常值影响更小。
• DRDG 学习到的特征分布显著比基线更紧凑，经过 FRM 更新后，高偏差样本被拉向中心区域。
• 可视化结果表明，FRM 通过在面部区域强调高能量注意力图，聚焦于内在面部特征，同时抑制了衣物、背景等非通用线索。
• SRM 与 FRM 的相互迭代机制，使特征空间更具鲁棒性与泛化能力，表现为分类边界更清晰，且在未见目标域上性能更优。