[论文解读] Instance-Aware Domain Generalization for Face Anti-Spoofing

Qianyu Zhou, Ke-Yue Zhang+5 more|arXiv (Cornell University)|Apr 12, 2023

Biometric Identification and Security参考文献 61被引用 5

一句话总结

本文提出实例感知域泛化（IADG）用于人脸反攻防，通过在实例级别对齐特征而不依赖粗粒度的域标签，提升了对未见域的泛化能力。该方法引入了非对称实例自适应白化、动态卷积核生成器和类别风格聚合模块，以学习对风格不敏感的表征，在基准数据集上实现了最先进性能。

ABSTRACT

Face anti-spoofing (FAS) based on domain generalization (DG) has been recently studied to improve the generalization on unseen scenarios. Previous methods typically rely on domain labels to align the distribution of each domain for learning domain-invariant representations. However, artificial domain labels are coarse-grained and subjective, which cannot reflect real domain distributions accurately. Besides, such domain-aware methods focus on domain-level alignment, which is not fine-grained enough to ensure that learned representations are insensitive to domain styles. To address these issues, we propose a novel perspective for DG FAS that aligns features on the instance level without the need for domain labels. Specifically, Instance-Aware Domain Generalization framework is proposed to learn the generalizable feature by weakening the features' sensitivity to instance-specific styles. Concretely, we propose Asymmetric Instance Adaptive Whitening to adaptively eliminate the style-sensitive feature correlation, boosting the generalization. Moreover, Dynamic Kernel Generator and Categorical Style Assembly are proposed to first extract the instance-specific features and then generate the style-diversified features with large style shifts, respectively, further facilitating the learning of style-insensitive features. Extensive experiments and analysis demonstrate the superiority of our method over state-of-the-art competitors. Code will be publicly available at https://github.com/qianyuzqy/IADG.

研究动机与目标

• 为解决现有域感知域泛化方法在人脸反攻防中依赖粗粒度、人为构造的域标签，而无法捕捉细粒度风格差异的局限性。
• 通过学习对实例特定风格不敏感的特征，而非依赖域级分布，提升模型对未见域的泛化能力。
• 通过在实例级别构建框架，消除对域标签的依赖，实现更细粒度、自适应的特征对齐。
• 通过动态风格增强与自适应特征白化，提升对多样化欺骗攻击和环境变化的鲁棒性。

提出的方法

• 提出非对称实例自适应白化（AIAW），通过在每个实例基础上操作协方差矩阵，自适应地降低风格敏感特征的相关性。
• 引入动态卷积核生成器（DKG），学习实例自适应的卷积核，与静态卷积核结合，增强实例特定的特征学习能力。
• 采用类别风格聚合（CSA）通过类别化方式建模实例级风格多样性，生成多样化、风格偏移的特征，防止标签泄露。
• 采用双分支策略：分别处理真实样本与欺骗样本，并在AIAW中引入非对称监督，以提升在域分布偏移下的泛化能力。
• 通过使用最远点采样（FPS）选择风格基，实现特征空间增强，覆盖多样化的源风格，并生成新颖的分布外风格。
• 采用t-SNE可视化与Grad-CAM分析，验证AIAW能减少跨设备的注意力漂移，并有效白化无关特征相关性。

实验结果

研究问题

• RQ1 能否通过将特征对齐从域级别转向实例级别，提升人脸反攻防中的域泛化能力？
• RQ2 如何在不依赖人工或粗粒度域标签的前提下，增强模型的泛化能力？
• RQ3 非对称特征白化与动态风格增强在多大程度上可提升对未见欺骗攻击与环境变化的鲁棒性？
• RQ4 能否有效建模并利用实例级风格多样性，以生成真实且分布外的风格变化用于数据增强？
• RQ5 与域级对齐相比，实例感知特征学习是否能带来更紧凑、更具判别性的特征分布？

主要发现

• 所提出的IADG框架在多个基准数据集上实现了最先进性能，优于现有人脸反攻防中的域泛化方法。
• 消融实验表明，通过动态卷积核生成器结合静态与动态卷积核，性能优于单独使用任一类型。
• 类别风格聚合（CSA）生成的风格增强特征比基线方法（如SSA）更具多样性与真实性，包括超出源分布的新风格。
• t-SNE可视化结果表明，IADG生成的真正样本特征更紧凑，且真实与欺骗样本之间的决策边界更优，优于域感知方法。
• Grad-CAM可视化显示，AIAW在不同设备与环境下均能稳定注意力于面部区域，降低对域特定伪影的敏感性。
• 非对称实例自适应白化有效降低了风格敏感通道的特征相关性，同时保留了判别性信息，从而提升了泛化性能。