[论文解读] FM-ViT: Flexible Modal Vision Transformers for Face Anti-Spoofing

Ajian Liu, Zichang Tan+8 more|arXiv (Cornell University)|May 5, 2023

Biometric Identification and Security被引用 4

一句话总结

FM-ViT 提出了一种基于纯 Vision Transformer 的人脸反 spoofing 框架，通过使用多模态训练数据实现灵活的单模态推理。通过引入包含多头互注意力和融合注意力的跨模态 Transformer 块（CMTB），该方法增强了模态特定的特征学习，并提取了模态无关的活体线索，在 FLOPs 和参数量低于多模态基线模型的前提下，实现了最先进性能。

ABSTRACT

The availability of handy multi-modal (i.e., RGB-D) sensors has brought about a surge of face anti-spoofing research. However, the current multi-modal face presentation attack detection (PAD) has two defects: (1) The framework based on multi-modal fusion requires providing modalities consistent with the training input, which seriously limits the deployment scenario. (2) The performance of ConvNet-based model on high fidelity datasets is increasingly limited. In this work, we present a pure transformer-based framework, dubbed the Flexible Modal Vision Transformer (FM-ViT), for face anti-spoofing to flexibly target any single-modal (i.e., RGB) attack scenarios with the help of available multi-modal data. Specifically, FM-ViT retains a specific branch for each modality to capture different modal information and introduces the Cross-Modal Transformer Block (CMTB), which consists of two cascaded attentions named Multi-headed Mutual-Attention (MMA) and Fusion-Attention (MFA) to guide each modal branch to mine potential features from informative patch tokens, and to learn modality-agnostic liveness features by enriching the modal information of own CLS token, respectively. Experiments demonstrate that the single model trained based on FM-ViT can not only flexibly evaluate different modal samples, but also outperforms existing single-modal frameworks by a large margin, and approaches the multi-modal frameworks introduced with smaller FLOPs and model parameters.

研究动机与目标

• 为解决多模态人脸反欺骗模型在测试模态与训练输入不一致时失效的局限性。
• 在不需推理时保持模态一致的前提下，利用可用的多模态数据提升单模态人脸反欺骗性能。
• 开发一种纯 Transformer 架构，以比 CNN 更有效地捕捉长距离依赖关系和全局欺骗线索。
• 通过跨模态注意力机制实现模态无关的特征学习，从而丰富分类标记（CLS token）的表示。

提出的方法

• FM-ViT 采用多分支 Vision Transformer 架构，每个输入模态（如 RGB、Depth、IR）对应一个分支，独立学习模态特定的特征。
• 在 ViT 编码器的特定阶段后插入跨模态 Transformer 块（CMTB），以实现跨模态特征交互。
• CMTB 由两个级联的注意力模块组成：多头互注意力（MMA），利用一个模态的注意力图从另一模态中识别出有信息量的 patch token；以及融合注意力（MFA），将跨模态信息丰富到 CLS token 中。
• MMA 使用可学习的阈值函数 Γλ(⋅) 保留注意力质量的前 50%，确保跨模态的特征选择性挖掘。
• MFA 在某一模态的 CLS token 与其他模态的 patch token 之间执行跨注意力，使模型能够学习模态不变的活体表征。
• 该框架在多模态数据上进行训练，但可部署于任意单模态进行推理，从而实现灵活的模态测试。

实验结果

研究问题

• RQ1 一个在多模态数据上训练的单一模型，是否能在不需推理时保持模态一致的前提下，有效泛化到单模态测试场景？
• RQ2 跨模态注意力机制如何改善单模态输入中对细微欺骗痕迹的检测能力？
• RQ3 在纯 Transformer 架构的人脸反欺骗框架中，模态特定特征学习与模态无关表征学习之间应如何达到最优平衡？
• RQ4 与多模态融合基线相比，轻量级 Transformer 模块在降低 FLOPs 和模型参数的同时，能在多大程度上提升性能？

主要发现

• FM-ViT(S) 在 OULU-NPU 数据集的 R/D/I 协议上分别实现了 2.87%/2.32%/2.13% 的 ACER，平均优于基线 ViT(S) 1.45 个百分点。
• 与完整多模态的 FM-ViT(B) 相比，FM-ViT(S) 将 FLOPs 减少 90%，参数量减少 91%，同时保持更优性能。
• 消融实验表明，MMA 阈值函数中 λ=0.5 时性能最优，实现了信息量 token 选择与特征多样性之间的最佳平衡。
• 可视化结果表明，MMA 有效将注意力重新定向至欺骗相关区域（如纸张边缘或眼镜），即使目标模态未捕捉到这些线索。
• MFA 扩展了显著特征的响应区域，增强了跨模态的特征相关性，提升了对细微欺骗伪影的鲁棒性。
• 该模型在多个基准测试（包括 OULU-NPU、WMCA 和 MmFa）上达到最先进性能，并展现出对未见协议的强大零样本泛化能力。