[论文解读] Liveness Detection Using Implicit 3D Features

J. Matías Di Martino, Qiang Qiu+2 more|arXiv (Cornell University)|Apr 18, 2018

Video Surveillance and Tracking Methods参考文献 14被引用 8

一句话总结

本文提出了一种活体检测方法，利用在不同光照条件或非标定立体图像对下提取的隐式3D面部特征，避免了昂贵的3D重建过程。该方法在计算成本极低的情况下实现了最先进性能，并对常见欺骗攻击（包括打印照片和3D复制品）具有鲁棒性，通过学习多个光源的特征响应模式实现。

ABSTRACT

Spoofing attacks are a threat to modern face recognition systems. In this work we present a simple yet effective liveness detection approach to enhance 2D face recognition methods and make them robust against spoofing attacks. We show that the risk to spoofing attacks can be re- duced through the use of an additional source of light, for example a flash. From a pair of input images taken under different illumination, we define discriminative features that implicitly contain facial three-dimensional in- formation. Furthermore, we show that when multiple sources of light are considered, we are able to validate which one has been activated. This makes possible the design of a highly secure active-light authentication framework. Finally, further investigating the use of 3D features without 3D reconstruction, we introduce an approximated disparity-based implicit 3D feature obtained from an uncalibrated stereo-pair of cameras. Valida- tion experiments show that the proposed methods produce state-of-the-art results in challenging scenarios with nearly no feature extraction latency.

研究动机与目标

• 增强2D人脸识别系统中的活体检测能力，以抵御打印照片和3D复制品等欺骗攻击。
• 在无需显式3D重建的情况下提取隐式3D面部信息，降低计算与硬件开销。
• 开发一种利用额外光源或双目摄像头生成可区分特征以实现活体验证的框架。
• 通过最小化特征提取延迟，实现在智能手机和个人电脑等消费设备上的实际部署。
• 在多样化的受试者、相机和成像条件下验证该方法，确保其具备高度泛化能力及对分辨率的不变性。

提出的方法

• 该方法利用在不同光照条件下拍摄的两张人脸图像，基于辐射度视差和表面反射率变化提取隐式3D特征。
• 独立建模每个光源的响应，实现多闪光源的主动光认证。
• 对于基于双目的检测，通过非标定相机对计算近似视差图，以估计局部深度变化而无需完整标定。
• 隐式3D特征源自图像间强度变化，捕捉几何表面特性，而无需显式3D重建。
• 该框架设计为分辨率无关且计算高效，适用于标准设备的实时部署。
• 集成按光照源的特征学习机制，支持在认证过程中动态验证哪个光源被激活。

实验结果

研究问题

• RQ1 能否在不进行显式3D重建的情况下，从不同光照条件下的双图像中提取隐式3D面部特征？
• RQ2 使用多个光源在提升活体检测鲁棒性及实现主动光认证方面有多高效？
• RQ3 非标定双目图像对是否能提供足够深度信息以实现低计算成本的活体检测？
• RQ4 所提出的特征在多大程度上对图像分辨率保持不变，并具备在不同受试者和设备间的泛化能力？
• RQ5 该方法能否有效抵御常见欺骗攻击，如打印照片、曲面打印照片及基于平板的3D模型攻击？

主要发现

• 所提方法在极具挑战性的场景下实现了最先进水平的活体检测性能，且特征提取延迟几乎可忽略。
• 从双光照图像中提取的隐式3D特征具有高度判别性，并对平面和曲面打印照片欺骗攻击具有强鲁棒性。
• 该方法在受试者、相机和成像条件之间具有良好的泛化能力，表现出对输入分辨率的强不变性。
• 使用多个光源使系统能够学习不同的响应模型，从而增强安全性并支持主动光验证框架的构建。
• 该方法对3D复制品攻击仍保持安全性，尽管此类攻击相比典型欺骗手段需要更高的复杂度。
• 非标定双目视差近似提供了足够的精度以实现活体检测，同时避免了完整3D三角测量带来的计算负担。