[论文解读] Learn Convolutional Neural Network for Face Anti-Spoofing

Jianwei Yang, Zhen Lei+1 more|arXiv (Cornell University)|Aug 24, 2014

Biometric Identification and Security参考文献 11被引用 383

一句话总结

本文提出一种深度卷积神经网络（CNN），用于自动学习具有高度判别性的面部反 spoofing 特征，其性能优于传统的手工设计特征（如 LBP 和 LBP-TOP）。该方法在 CASIA 和 REPLAY-ATTACK 数据集上实现了超过 70% 的半总错误率（HTER）相对降低，在最优设置下于 REPLAY-ATTACK 数据集上的 HTER 低于 1%，表明其在不同数据集间具有强大的泛化能力和鲁棒性。

ABSTRACT

Though having achieved some progresses, the hand-crafted texture features, e.g., LBP [23], LBP-TOP [11] are still unable to capture the most discriminative cues between genuine and fake faces. In this paper, instead of designing feature by ourselves, we rely on the deep convolutional neural network (CNN) to learn features of high discriminative ability in a supervised manner. Combined with some data pre-processing, the face anti-spoofing performance improves drastically. In the experiments, over 70% relative decrease of Half Total Error Rate (HTER) is achieved on two challenging datasets, CASIA [36] and REPLAY-ATTACK [7] compared with the state-of-the-art. Meanwhile, the experimental results from inter-tests between two datasets indicates CNN can obtain features with better generalization ability. Moreover, the nets trained using combined data from two datasets have less biases between two datasets.

研究动机与目标

• 解决传统手工纹理特征（如 LBP、LBP-TOP）在面部反 spoofing 中泛化能力有限且判别力不足的问题。
• 探索深度学习（特别是 CNN）从原始面部图像中自动学习更鲁棒、更具判别性的特征的潜力。
• 通过数据驱动的特征学习，提升对多种欺骗类型（打印、重放、面具）的反 spoofing 性能。
• 研究 CNN 在不同数据集间的泛化能力，特别是在跨数据集测试场景下的表现。
• 通过在多个来源（CASIA 和 REPLAY-ATTACK）的组合数据上进行训练，减少数据集特异性偏差。

提出的方法

• 采用有监督的深度卷积神经网络（CNN），直接从面部图像中学习分层的、具有判别性的特征，替代人工特征设计。
• 应用空间和时间上的数据增强策略，包括随机裁剪、翻转和帧采样，以增加训练多样性与鲁棒性。
• 在 CASIA 和 REPLAY-ATTACK 数据集上分别及联合训练 CNN，以评估泛化能力与领域偏移鲁棒性。
• 通过尺度增强（将输入图像缩放到不同分辨率）提升特征学习效果与模型稳定性。
• 使用半总错误率（HTER）在内部数据集、跨数据集以及联合训练协议下评估性能。
• 利用输入图像中的背景区域作为额外线索，因其有助于区分真实与伪造面部。

实验结果

研究问题

• RQ1 深度 CNN 是否能在多个数据集上超越传统手工纹理特征（如 LBP、LBP-TOP）在面部反 spoofing 中的表现？
• RQ2 CNN 在不同采集条件（如光照、背景、欺骗方法）的数据集之间，其泛化能力达到何种程度？
• RQ3 数据增强（尤其是空间与时间变换）在多大程度上提升了基于 CNN 的反 spoofing 模型的鲁棒性与性能？
• RQ4 结合多个数据集的训练数据是否能减少领域偏差并提升跨数据集泛化能力？
• RQ5 CNN 是否能学习到对欺骗类型具有不变性，同时仍对真实与伪造人脸之间的细微差异保持敏感？

主要发现

• 所提出的基于 CNN 的方法相较于最先进手工特征，在 CASIA 和 REPLAY-ATTACK 数据集上均实现了超过 70% 的半总错误率（HTER）相对降低。
• 在 REPLAY-ATTACK 数据集上，当输入尺度设置为 4 或 5 时，平均 HTER 低于 1%，表明在最优设置下性能接近完美。
• 在跨数据集测试中，CNN 模型的泛化能力显著优于以往方法，各数据集间性能下降极小。
• 在 CASIA 和 REPLAY-ATTACK 联合数据上训练的模型表现出更低的偏差，且性能与内部数据集模型相当，证实了强大的跨数据集泛化能力。
• 不同数据集的最佳特征学习尺度不同——CASIA 为尺度 3，REPLAY-ATTACK 为尺度 5，这源于背景构成差异（真实背景 vs. 伪造背景）。
• 背景区域对欺骗检测有显著贡献，尤其是在使用 CNN 学习的特征时，表明上下文信息是一种有价值的线索。