[论文解读] Exploiting temporal and depth information for multi-frame face anti-spoofing

Zezheng Wang, Chenxu Zhao+5 more|arXiv (Cornell University)|Nov 13, 2018

Biometric Identification and Security参考文献 32被引用 77

一句话总结

本论文提出一种深度监督的多帧人脸防 spoofing 框架，结合短期与长期运动线索（OFFB 和 ConvGRU）以及对比深度损失，在四个基准数据集上达到最新状态。

ABSTRACT

Face anti-spoofing is significant to the security of face recognition systems. Previous works on depth supervised learning have proved the effectiveness for face anti-spoofing. Nevertheless, they only considered the depth as an auxiliary supervision in the single frame. Different from these methods, we develop a new method to estimate depth information from multiple RGB frames and propose a depth-supervised architecture which can efficiently encodes spatiotemporal information for presentation attack detection. It includes two novel modules: optical flow guided feature block (OFFB) and convolution gated recurrent units (ConvGRU) module, which are designed to extract short-term and long-term motion to discriminate living and spoofing faces. Extensive experiments demonstrate that the proposed approach achieves state-of-the-art results on four benchmark datasets, namely OULU-NPU, SiW, CASIA-MFSD, and Replay-Attack.

研究动机与目标

• 分析时间深度在区分活体与伪造人脸中的作用。
• 开发一个基于深度监督、能够利用RGB帧中的时序信息的架构。
• 引入捕获短期与长期运动的机制（OFFB 和 ConvGRU）用于 PAD。
• 提出一个对比深度损失，在深度监督下学习面部拓扑。
• 在标准 PAD 基准上展示出优越的性能。

提出的方法

• 使用深度监督网络从单目 RGB 帧中估计面部深度。
• 使用单帧深度回归，配合绝对深度损失和对比深度损失。
• 使用 Optical Flow Guided Feature Block (OFFB) 提取短期运动。
• 使用 Convolutional Gated Recurrent Units (ConvGRU) 捕捉长期运动。
• 通过类似残差的融合将单帧和多帧深度图融合，以获得 D_fusion。
• 采用两阶段训练策略：先固定单帧部分，再用深度和二值损失微调多帧部分。

实验结果

研究问题

• RQ1 时序信息和来自 RGB 帧的估计深度是否能够在超越静态线索的情况下提升呈现攻击检测的性能？
• RQ2 在深度监督下，OFFB（短期运动）和 ConvGRU（长期运动）对 PAD 性能的贡献是什么？
• RQ3 引入对比深度损失是否能提升用于活体/伪造区分的面部深度拓扑的学习？
• RQ4 与现有方法相比，所提出的深度监督多帧方法在标准 PAD 基准上的表现如何？

主要发现

• 该方法在四个 PAD 基准（OULU-NPU、SiW、CASIA-MFSD、Replay-Attack）上取得了最先进的结果。
• 消融研究表明，OFFB 和 ConvGRU 都提升了相对于单帧基线的准确性，它们的结合进一步带来收益。
• 对比深度损失在泛化能力方面优于纯粹的欧几里得深度监督。
• 多帧深度图与单帧深度融合后，在活体/伪造区分上表现更佳，包括在具有挑战性的跨测试设置中。