[论文解读] Learning Deep Models for Face Anti-Spoofing: Binary or Auxiliary Supervision

Yaojie Liu, Amin Jourabloo+1 more|arXiv (Cornell University)|Mar 29, 2018

Biometric Identification and Security参考文献 28被引用 70

一句话总结

该论文通过在 CNN-RNN 框架中使用深度图和 rPPG 信号的辅助监督来提升人脸防欺骗的泛化能力，并引入 SiW spoof-in-the-wild 数据库。

ABSTRACT

Face anti-spoofing is the crucial step to prevent face recognition systems from a security breach. Previous deep learning approaches formulate face anti-spoofing as a binary classification problem. Many of them struggle to grasp adequate spoofing cues and generalize poorly. In this paper, we argue the importance of auxiliary supervision to guide the learning toward discriminative and generalizable cues. A CNN-RNN model is learned to estimate the face depth with pixel-wise supervision, and to estimate rPPG signals with sequence-wise supervision. Then we fuse the estimated depth and rPPG to distinguish live vs. spoof faces. In addition, we introduce a new face anti-spoofing database that covers a large range of illumination, subject, and pose variations. Experimental results show that our model achieves the state-of-the-art performance on both intra-database and cross-database testing.

研究动机与目标

• 在二值监督下，促使克服深度人脸防欺骗中的泛化差距。
• 引入辅助的时空线索（空间深度和时间 rPPG），以引导学习判别性欺骗模式。
• 开发一个联合估计深度图和 rPPG 信号以进行 live/spoof 分类的 CNN-RNN 架构。
• 提出一个非刚性配准层，以对齐特征实现稳健的时序建模。
• 创建并发布一个具有强烈光照、姿态和设备变异的具有挑战性的 SiW 数据集，以便进行稳健评估。

提出的方法

• 通过像素级深度损失，使用深度图监督来引导 CNN 学习活体与欺骗深度线索。
• 学习一个 CNN-RNN 流水线，其中 CNN 估计深度和特征，随后 RNN 在序列帧上估计 rPPG 信号，并进行序列级别监督。
• 引入一个非刚性配准层，利用估计的三维形状对齐 CNN 的特征图，以实现一致的时序学习。
• 以两条流式数据路径（CNN-stream 和 CNN-RNN-stream）进行训练，并在它们之间交替以实现端到端优化。
• 在测试时将深度和 rPPG 输出结合起来，使用它们平方范数的加权和来计算最终的 live/spoof 分数。
• 收集并利用类地面实况的伪深度图和伪 rPPG 信号，用于 live 和 spoof 视频的监督学习。

实验结果

研究问题

• RQ1 来自深度图和 rPPG 信号的辅助监督是否能够提升人脸防欺骗超越二分类的泛化能力？
• RQ2 如何将深度和 rPPG 线索有效整合到统一的 CNN-RNN 架构中以进行 live/spoof 判别？
• RQ3 非刚性配准在跨姿态/表情变换的稳健时序建模中对特征对齐有何影响？
• RQ4 所提的 SiW 数据库是否提供足够的多样性来训练稳健的防欺骗模型？
• RQ5 与最新方法相比，所提方法在同数据库內部和跨数据库评估中的表现如何？

主要发现

• 所提出的包含深度和 rPPG 辅助监督的模型在同一数据库内和跨数据库测试中达到最先进的性能。
• 采用两条流训练策略，交替进行仅 CNN 和 CNN-RNN 的训练，提升收敛性和泛化性。
• 更长的 rPPG 序列训练（更大的 Nf）降低 ACER，证明了时序监督的好处。
• 非刚性配准层提升了时序对齐和相对于未使用配准的模型的性能。
• 跨数据库结果显示相比先前方法在跨测试错误方面有显著下降，表明强泛化性。
• 消融研究表明结合深度监督、rPPG 监督和非刚性配准层可得到最佳结果。