[论文解读] Deep Learning meets Liveness Detection: Recent Advancements and Challenges

Arian Sabaghi, Marzieh Oghbaie+2 more|arXiv (Cornell University)|Dec 29, 2021

Biometric Identification and Security被引用 4

一句话总结

本文全面综述了自2017年以来基于深度学习的面部反欺骗（FAS）方法，重点聚焦于使用普通RGB摄像头进行活体检测的深度特征学习。提出了FAS技术的语义分类体系，分析了主要公开数据集和评估协议，并识别出关键挑战，如域偏移、对标注数据的依赖以及时间信息利用不足，倡导在实际部署中提升模型的泛化能力和鲁棒性。

ABSTRACT

Facial biometrics has been recently received tremendous attention as a convenient replacement for traditional authentication systems. Consequently, detecting malicious attempts has found great significance, leading to extensive studies in face anti-spoofing~(FAS),i.e., face presentation attack detection. Deep feature learning and techniques, as opposed to hand-crafted features, have promised a dramatic increase in the FAS systems' accuracy, tackling the key challenges of materializing the real-world application of such systems. Hence, a new research area dealing with the development of more generalized as well as accurate models is increasingly attracting the attention of the research community and industry. In this paper, we present a comprehensive survey on the literature related to deep-feature-based FAS methods since 2017. To shed light on this topic, a semantic taxonomy based on various features and learning methodologies is represented. Further, we cover predominant public datasets for FAS in chronological order, their evolutional progress, and the evaluation criteria (both intra-dataset and inter-dataset). Finally, we discuss the open research challenges and future directions.

研究动机与目标

• 提供自2017年以来基于深度学习的面部反欺骗（FAS）方法的系统性与最新概述。
• 基于深度特征与学习方法，建立FAS方法的语义分类体系，以实现更优的分类与理解。
• 分析主要公开FAS数据集的演变及其评估标准，包括数据集内与跨数据集的基准测试。
• 识别限制真实世界FAS系统泛化能力的关键开放性挑战，如域偏移、对标注数据的依赖以及时间信息利用不足。
• 通过提出有前景的研究方向，如域自适应、基于置信度的过滤以及优化特征提取，为未来研究提供指导。

提出的方法

• 基于深度特征与学习技术，提出一种FAS方法的语义分类体系，区分监督学习、自监督学习与对比学习方法。
• 将FAS方法分类为仅依赖RGB输入的方法、使用辅助数据（如深度信息）的方法，以及整合时间或时空建模的方法。
• 采用标准化基准评估最先进模型，涵盖CASIA-MFSD、Replay Attack和OULU-NPU等主要数据集的数据集内与跨数据集协议。
• 提出一种通过预测置信度评估模型可靠性的框架，建议将低置信度的活体预测视为潜在欺骗攻击的信号。
• 提出基于缓冲区的持续学习与伪标签化策略，以在分布偏移条件下提升域自适应性能。
• 建议优化核心CNN组件（如中心差分卷积与池化操作），以提升特征质量与模型泛化能力。

实验结果

研究问题

• RQ1 自2017年以来，基于深度学习的FAS方法在性能与架构方面有何演变，特别是在仅使用RGB的设置下？
• RQ2 区分最先进FAS模型的关键方法类别与技术组件是什么？
• RQ3 当前FAS模型在不同数据集上的表现如何，特别是在跨数据集评估场景下？
• RQ4 限制真实世界FAS应用中泛化能力的主要挑战是什么，如何缓解？
• RQ5 时间信息利用、置信度估计与域自适应在多大程度上能提升FAS系统的鲁棒性与可靠性？

主要发现

• 基于深度学习的FAS方法在准确率方面显著优于传统手工设计特征方法，尤其在数据集内基准测试中表现突出。
• 跨数据集评估揭示了性能显著下降，表明在不同域之间泛化能力较差，尤其在源域与目标域互换时更为明显。
• 域自适应方法虽具潜力，但在适应多个域时易出现不稳定性，且严重依赖源域质量与目标域标注数据的可用性。
• FAS模型中的低置信度预测可被用作欺骗攻击的指示信号，若策略性使用，可降低误拒绝率。
• 时间建模可提升对静态攻击的鲁棒性，但计算成本较高；高效替代方案如静态-动态图像可在极低开销下保留时间线索。
• 通过中心差分操作等方法优化卷积与池化等基础CNN组件，是提升特征质量与模型性能的有前景路径。