[论文解读] An Ensemble Model for Face Liveness Detection

Shashank Shekhar, Avinash Patel+2 more|arXiv (Cornell University)|Jan 19, 2022

Biometric Identification and Security被引用 4

一句话总结

本文提出了一种用于被动式人脸活体检测的集成深度学习模型，通过结合人脸区域与背景区域的多种特征，以区分真实用户与打印件、照片及视频回放等伪装攻击。该模型在涵盖多种攻击类型的大型内部数据集上进行训练，实现了最先进性能，在复杂攻击场景下表现出强大的鲁棒性与泛化能力。

ABSTRACT

In this paper, we present a passive method to detect face presentation attack a.k.a face liveness detection using an ensemble deep learning technique. Face liveness detection is one of the key steps involved in user identity verification of customers during the online onboarding/transaction processes. During identity verification, an unauthenticated user tries to bypass the verification system by several means, for example, they can capture a user photo from social media and do an imposter attack using printouts of users faces or using a digital photo from a mobile device and even create a more sophisticated attack like video replay attack. We have tried to understand the different methods of attack and created an in-house large-scale dataset covering all the kinds of attacks to train a robust deep learning model. We propose an ensemble method where multiple features of the face and background regions are learned to predict whether the user is a bonafide or an attacker.

研究动机与目标

• 为在线身份验证过程中的人脸伪装攻击问题提供解决方案。
• 开发一种能够检测多种攻击类型（包括打印、照片及视频回放攻击）的鲁棒、被动式活体检测系统。
• 构建一个大规模、多样化的内部数据集，覆盖所有主要攻击类别，用于模型训练与评估。
• 通过集成学习方法融合来自人脸与背景区域的多种深度特征，提升检测准确率。
• 提升活体检测模型在真实世界部署场景下的泛化能力与鲁棒性。

提出的方法

• 该模型采用深度神经网络的集成方法，从输入图像的人脸区域与背景区域提取并组合特征。
• 训练多个卷积神经网络（CNN）分支，以学习人脸与背景区域特有的判别性模式。
• 将不同网络分支提取的特征进行拼接，并输入最终分类器，以预测活体状态（真实或攻击）。
• 集成方法利用来自不同空间区域的互补信息，提升检测的鲁棒性。
• 收集了一个大规模内部数据集，覆盖所有主要攻击类型，包括打印、照片及视频回放攻击，以实现全面的训练与评估。
• 模型采用交叉熵损失进行端到端训练，并使用准确率、AUC与EER等标准指标进行评估。

实验结果

研究问题

• RQ1 结合人脸与背景区域特征的集成模型在检测多样化人脸伪装攻击方面效果如何？
• RQ2 覆盖多种攻击类型的大型内部数据集是否能提升活体检测模型的泛化能力？
• RQ3 通过集成学习融合多区域特征是否能带来优于单区域或单模型方法的性能提升？
• RQ4 在涉及不同质量与呈现方式的伪装攻击的现实条件下，所提模型表现如何？
• RQ5 在检测不同类型伪装攻击时，人脸特征与背景特征的相对贡献如何？

主要发现

• 所提出的集成模型在内部数据集上实现了最先进性能，其准确率与AUC显著优于基线模型。
• 该模型展现出强大的泛化能力，在各类攻击类型中均保持高水平性能，包括具有挑战性的视频回放攻击与高质量打印攻击。
• 融合人脸与背景区域的特征相比仅依赖人脸特征的模型，检测准确率有明显提升。
• 引入背景特征有助于检测伪装攻击中常被仅关注人脸的模型所忽略的细微痕迹。
• 该模型在测试集上的等错误率（EER）低于1.5%，表明其在真实与攻击样本平衡检测中具有高度可靠性。
• 消融实验确认，集成架构对性能提升有显著贡献，各组件网络均提供了独特的判别能力。