[论文解读] Aurora Guard: Reliable Face Anti-Spoofing via Mobile Lighting System

Jian Zhang, Ying Tai+7 more|arXiv (Cornell University)|Feb 1, 2021

Video Surveillance and Tracking Methods参考文献 15被引用 11

一句话总结

Aurora Guard 提出了一种低成本、实时的人脸反欺骗系统，通过在移动设备上使用动态光照和反射分析，从RGB帧中提取深度图和材质图，无需额外传感器。通过利用光照CAPTCHA进行一致性校验，并采用多任务CNN实现解耦特征学习，该系统在公开和大规模私有数据集上均达到最先进性能，优于依赖硬件的方法。

ABSTRACT

Face authentication on mobile end has been widely applied in various scenarios. Despite the increasing reliability of cutting-edge face authentication/verification systems to variations like blinking eye and subtle facial expression, anti-spoofing against high-resolution rendering replay of paper photos or digital videos retains as an open problem. In this paper, we propose a simple yet effective face anti-spoofing system, termed Aurora Guard (AG). Our system firstly extracts the normal cues via light reflection analysis, and then adopts an end-to-end trainable multi-task Convolutional Neural Network (CNN) to accurately recover subjects' intrinsic depth and material map to assist liveness classification, along with the light CAPTCHA checking mechanism in the regression branch to further improve the system reliability. Experiments on public Replay-Attack and CASIA datasets demonstrate the merits of our proposed method over the state-of-the-arts. We also conduct extensive experiments on a large-scale dataset containing 12,000 live and diverse spoofing samples, which further validates the generalization ability of our method in the wild.

研究动机与目标

• 为解决在移动环境中依赖专用深度传感器之外的可靠人脸反欺骗挑战。
• 仅使用单个移动光源，提升对包括2D和3D呈现攻击在内的多样化欺骗攻击的泛化能力。
• 开发一种零成本、便携且高效的系统，适用于智能手机和嵌入式设备的现实世界部署。
• 通过一种新颖的光照CAPTCHA机制，验证预测与实际光照参数之间的一致性，从而提升系统可靠性。

提出的方法

• 系统使用动态、随机化的光源（光照CAPTCHA）在人脸表面投射变化的光照模式，生成用于分析的反射帧。
• 通过连续两帧反射图的逐像素相减提取法线线索，其编码了深度和材质信息。
• 共享编码器处理法线线索，随后通过两个独立解码器在多任务学习框架下回归深度图和材质图。
• 分类分支利用编码器的聚合特征与解耦的特征图进行活体检测。
• 回归分支估计光照CAPTCHA参数，以验证与真实光照序列的一致性，从而实现对模态欺骗的检测。
• 整个流程端到端可训练，并针对移动和嵌入式平台的实时推理进行了优化。

实验结果

研究问题

• RQ1 仅使用单个移动光源，能否可靠地从RGB反射帧中恢复出深度图和材质图？
• RQ2 解耦的深度与材质特征是否能提升对2D和3D欺骗攻击的泛化能力？
• RQ3 光照CAPTCHA机制能否在不增加额外硬件的前提下增强系统对模态欺骗的鲁棒性？
• RQ4 在真实环境中，纯软件实现的反欺骗系统性能与基于硬件的3D传感解决方案相比如何？

主要发现

• 在Replay-Attack数据集上，Aurora Guard的FAR为0.02%，显著优于先前方法如SURF（0.10%）和Deep LBP（0.10%）。
• 在CASIA数据集上，Aurora Guard的FAR为0.75%，优于次佳方法（Patch-Depth CNNs为2.67%）。
• Aurora Guard的深度恢复性能与Intel 3D相机相当，在深度重建上达到低RMSE(log)和高δ<1.25指标。
• 材质图恢复可有效检测3D攻击（如纸张和屏幕面具），可视化结果清晰区分真实人脸与欺骗样本。
• 在移动CPU上的推理时间高效，优于多项SOTA方法，证实了其在设备端部署的实时可行性。
• 系统在无需微调的情况下在不同数据集间表现出良好泛化能力，展示了在真实场景中的强鲁棒性与可移植性。