[论文解读] Hyperbolic Face Anti-Spoofing

Shuangpeng Han, Rizhao Cai+4 more|arXiv (Cornell University)|Aug 17, 2023

Biometric Identification and SecurityComputer Science被引用 3

一句话总结

本文提出了一种双曲人脸反欺诈框架，通过将特征投影到庞加莱球空间，利用欺骗攻击的层次结构，提升了对未见攻击类型的泛化能力。该框架引入了双曲对比学习、一种新型特征裁剪方法以稳定训练，并采用欧几里得分解与双曲融合相结合的多模态融合策略，在七个基准数据集上实现了最先进性能。

ABSTRACT

Learning generalized face anti-spoofing (FAS) models against presentation attacks is essential for the security of face recognition systems. Previous FAS methods usually encourage models to extract discriminative features, of which the distances within the same class (bonafide or attack) are pushed close while those between bonafide and attack are pulled away. However, these methods are designed based on Euclidean distance, which lacks generalization ability for unseen attack detection due to poor hierarchy embedding ability. According to the evidence that different spoofing attacks are intrinsically hierarchical, we propose to learn richer hierarchical and discriminative spoofing cues in hyperbolic space. Specifically, for unimodal FAS learning, the feature embeddings are projected into the Poincaré ball, and then the hyperbolic binary logistic regression layer is cascaded for classification. To further improve generalization, we conduct hyperbolic contrastive learning for the bonafide only while relaxing the constraints on diverse spoofing attacks. To alleviate the vanishing gradient problem in hyperbolic space, a new feature clipping method is proposed to enhance the training stability of hyperbolic models. Besides, we further design a multimodal FAS framework with Euclidean multimodal feature decomposition and hyperbolic multimodal feature fusion & classification. Extensive experiments on three benchmark datasets (i.e., WMCA, PADISI-Face, and SiW-M) with diverse attack types demonstrate that the proposed method can bring significant improvement compared to the Euclidean baselines on unseen attack detection. In addition, the proposed framework is also generalized well on four benchmark datasets (i.e., MSU-MFSD, IDIAP REPLAY-ATTACK, CASIA-FASD, and OULU-NPU) with a limited number of attack types.

研究动机与目标

• 解决人脸反欺诈模型在面对多样且不断演变的欺骗攻击形式时，对未见攻击类型泛化能力不足的挑战。
• 克服欧几里得空间在建模欺骗攻击之间固有层次关系（如形状、材质和覆盖范围）方面的局限性。
• 通过利用欺骗数据内在的层次拓扑结构，提升模型在跨数据集和零样本设置下的鲁棒性与泛化能力。
• 开发一种稳定且高效的双曲神经网络训练框架，尤其解决双曲空间中的梯度消失问题。
• 设计一种多模态FAS框架，结合欧几里得特征分解与双曲融合及分类，以提升性能。

提出的方法

• 使用双曲神经网络将单模态人脸特征投影到庞加莱球空间，以利用欺骗攻击中的层次结构。
• 在双曲特征投影后引入双曲二元逻辑回归层进行分类。
• 提出一种双曲对比学习损失，促使真实样本聚类更紧密，同时放松对多样化攻击类型的约束，以提升泛化能力。
• 开发一种新型特征裁剪方法，以缓解双曲空间中的梯度消失问题，增强训练稳定性。
• 设计一种多模态FAS框架，采用基于欧几里得的特征分解与基于双曲的特征融合及分类，使用复双曲拼接（complex hyperbolic concatenation）。
• 集成多种损失函数：判别损失（$\mathcal{L}^{Dis}$）、双曲二元交叉熵损失（$\mathcal{L}^{Hyp-BCE}_{decom}$）和双曲对比损失（$\mathcal{L}^{BF}_{fus}$），以监督模型在不同方面的学习。

实验结果

研究问题

• RQ1 与欧几里得空间相比，双曲空间是否能更好地建模欺骗攻击的层次结构？
• RQ2 双曲对比学习是否能提升人脸反欺诈中对未见攻击类型的泛化能力？
• RQ3 结合欧几里得分解与双曲融合的混合框架，是否能优于完全基于欧几里得或完全基于双曲的方法？
• RQ4 所提出的特征裁剪方法在稳定双曲神经网络训练方面效果如何？
• RQ5 双曲框架在多大程度上提升了对欺骗线索的可解释性与注意力定位能力？

主要发现

• 所提出的双曲单模态FAS框架在WMCA、PADISI-Face和SiW-M数据集上达到最先进性能，相较于欧几里得基线，在未见攻击检测方面有显著提升。
• 在MSU-MFSD、IDIAP REPLAY-ATTACK、CASIA-FASD和OULU-NPU数据集上，即使攻击类型有限，模型仍表现出良好的泛化能力，展现出强大的零样本泛化性能。
• 消融实验表明，三种附加损失（$\mathcal{L}^{Dis}$、$\mathcal{L}^{BF}_{decom}$、$\mathcal{L}^{BF}_{fus}$）均对模型泛化有积极贡献，其中$\mathcal{L}^{BF}_{decom}$与$\mathcal{L}^{BF}_{fus}$在RGB+Depth设置下效果最佳，而$\mathcal{L}^{Dis}$在RGB+IR设置下表现更优。
• Grad-CAM可视化显示，双曲模型聚焦于真实的欺骗线索（如不自然的眼部区域），而欧几里得基线则关注噪声或无关的背景区域。
• 在欧几里得空间中进行多模态特征分解，随后在双曲空间中进行融合与分类，可获得最佳性能，表明双曲融合优于双曲分解。
• 所提出的特征裁剪方法显著提升了双曲网络的训练稳定性，使模型在曲率引起的梯度消失问题下仍能实现有效优化。