[论文解读] Deep Learning for Face Anti-Spoofing: A Survey

Zitong Yu, Yunxiao Qin+4 more|arXiv (Cornell University)|Jun 28, 2021

Biometric Identification and Security参考文献 222被引用 12

一句话总结

本综述全面回顾了基于深度学习的人脸活体检测（FAS）方法，涵盖像素级监督、域泛化、多模态传感以及隐私保护训练。其突出进展超越了二元分类，包括伪深度图和生成重建等技术，并指出了在鲁棒性、数据不平衡以及隐私保护适应方面仍存在的开放性挑战。

ABSTRACT

Face anti-spoofing (FAS) has lately attracted increasing attention due to its vital role in securing face recognition systems from presentation attacks (PAs). As more and more realistic PAs with novel types spring up, traditional FAS methods based on handcrafted features become unreliable due to their limited representation capacity. With the emergence of large-scale academic datasets in the recent decade, deep learning based FAS achieves remarkable performance and dominates this area. However, existing reviews in this field mainly focus on the handcrafted features, which are outdated and uninspiring for the progress of FAS community. In this paper, to stimulate future research, we present the first comprehensive review of recent advances in deep learning based FAS. It covers several novel and insightful components: 1) besides supervision with binary label (e.g., '0' for bonafide vs. '1' for PAs), we also investigate recent methods with pixel-wise supervision (e.g., pseudo depth map); 2) in addition to traditional intra-dataset evaluation, we collect and analyze the latest methods specially designed for domain generalization and open-set FAS; and 3) besides commercial RGB camera, we summarize the deep learning applications under multi-modal (e.g., depth and infrared) or specialized (e.g., light field and flash) sensors. We conclude this survey by emphasizing current open issues and highlighting potential prospects.

研究动机与目标

• 通过回顾近期深度学习进展，解决过时的手工设计特征FAS方法的局限性。
• 研究超越二元分类的新监督范式，包括像素级监督（例如伪深度图、反射图）。
• 分析旨在实现域泛化和开放集FAS的方法，以应对实际部署中的挑战。
• 总结多模态（例如深度、红外）和专用传感器（例如光场、闪光）在深度学习中的应用。
• 突出数据不平衡、隐私保护训练以及FAS中无源适应方面的开放性问题。

提出的方法

• 将基于深度学习的FAS方法系统性地划分为二元分类、像素级监督和生成重建三类方法。
• 分析辅助监督信号（如伪深度图、反射图和二值掩码）在像素或补丁级别引导特征学习的使用。
• 回顾域泛化技术，以提升模型在未见域中的鲁棒性，且无需目标数据的标注。
• 调查利用深度、红外以及专用传感器（如光场、闪光）的多模态FAS系统，以在多样环境下提升欺骗检测能力。
• 研究联邦学习和无源适应策略，以在模型训练和部署过程中保护隐私。
• 评估生成模型在创建真实数字攻击中的影响，并提出统一的物理与数字攻击检测框架。

实验结果

研究问题

• RQ1 与二元分类相比，像素级监督信号如何提升对内在欺骗线索的检测能力？
• RQ2 在真实场景中实现FAS域泛化面临的关键挑战与解决方案是什么？
• RQ3 多模态和专用传感器如何增强基于深度学习的FAS系统的鲁棒性？
• RQ4 在FAS中，隐私保护训练方法（如联邦学习和无源适应）的权衡与局限性是什么？
• RQ5 如何有效适应FAS模型以同时检测物理和数字呈现攻击，尤其是在数据分布不平衡的情况下？

主要发现

• 像素级监督（如伪深度图和反射图）通过提供细粒度、上下文感知的监督信号，显著提升了模型的泛化能力。
• 特别是采用联邦学习中域解耦的域泛化方法，增强了模型在多样化数据域中的鲁棒性。
• 多模态传感器（如深度、红外）在欺骗检测中始终优于仅使用RGB的系统，尤其在光照条件差或欺骗手段复杂的情况下。
• 联邦学习可在不共享原始人脸数据的前提下，实现跨数据中心的隐私保护模型训练，但模型层面的隐私仍是一个挑战。
• 通过自训练实现的无源适应仅带来有限的性能提升（平均HTER降低1.9%），表明需要更鲁棒的适应策略。
• 物理攻击与数字攻击（如Deepfake）之间数据分布的不平衡会阻碍有效的多任务学习，因此需要精心的数据整理与损失加权。