[论文解读] Enhance the Motion Cues for Face Anti-Spoofing using CNN-LSTM Architecture

Xiaoguang Tu, Hengsheng Zhang+4 more|arXiv (Cornell University)|Jan 17, 2019

Biometric Identification and Security参考文献 33被引用 27

一句话总结

本文提出一种结合欧拉运动放大与注意力机制的CNN-LSTM架构，通过利用视频序列中的细粒度时间运动线索，提升人脸识别反欺骗性能。该方法在Replay Attack和MSU-MFSD数据集上达到最先进水平，通过有效捕捉眨眼、头部运动等细微面部动态，展现出优越的泛化能力。

ABSTRACT

Spatio-temporal information is very important to capture the discriminative cues between genuine and fake faces from video sequences. To explore such a temporal feature, the fine-grained motions (e.g., eye blinking, mouth movements and head swing) across video frames are very critical. In this paper, we propose a joint CNN-LSTM network for face anti-spoofing, focusing on the motion cues across video frames. We first extract the high discriminative features of video frames using the conventional Convolutional Neural Network (CNN). Then we leverage Long Short-Term Memory (LSTM) with the extracted features as inputs to capture the temporal dynamics in videos. To ensure the fine-grained motions more easily to be perceived in the training process, the eulerian motion magnification is used as the preprocessing to enhance the facial expressions exhibited by individuals, and the attention mechanism is embedded in LSTM to ensure the model learn to focus selectively on the dynamic frames across the video clips. Experiments on Replay Attack and MSU-MFSD databases show that the proposed method yields state-of-the-art performance with better generalization ability compared with several other popular algorithms.

研究动机与目标

• 解决因欺骗材料与环境条件差异导致的人脸识别反欺骗系统泛化能力差的问题。
• 通过利用眼睑眨动、口部运动与头部摆动等细粒度运动线索，提升对欺骗攻击的检测能力。
• 通过集成运动放大与注意力机制，增强模型对动态面部区域的关注能力。
• 通过混淆损失层平衡CNN与LSTM组件的特征学习，减少过拟合并提升鲁棒性。
• 在多种数据集上实现泛化能力验证，包括在Replay Attack与MSU-MFSD数据集上的跨库评估。

提出的方法

• 使用CNN主干网络从单个视频帧中提取高层空间特征。
• 将提取的CNN特征输入LSTM网络，以建模时间动态并捕捉连续帧间的时间运动模式。
• 将欧拉运动放大作为预处理步骤，放大细微面部运动，使模型能更清晰感知细粒度运动。
• 在LSTM中集成注意力机制，以选择性关注包含最具判别性动态信息的关键帧。
• 引入混淆损失层，结合CNN与LSTM损失，以平衡特征学习并缓解过拟合。
• 在Replay Attack与MSU-MFSD数据集上，按照官方协议端到端联合训练CNN-LSTM模型。

实验结果

研究问题

• RQ1 通过欧拉运动放大增强运动线索，是否能提升基于视频的人脸识别反欺骗系统对细微面部动态的检测能力？
• RQ2 在LSTM中集成注意力机制，是否能提升模型对富含运动信息帧的关注能力并增强判别性能？
• RQ3 与独立的CNN或LSTM模型相比，结合运动放大与注意力机制的联合CNN-LSTM架构在跨数据集泛化方面表现如何？
• RQ4 混淆损失层在平衡CNN与LSTM学习动态方面，对训练稳定性和泛化能力的提升程度如何？
• RQ5 当在与训练集不同的数据库上测试时，所提出方法在领域分布偏移情况下的表现如何？

主要发现

• 所提出的结合运动放大与注意力机制的CNN-LSTM模型在Replay Attack与MSU-MFSD数据集上均达到最先进性能。
• 欧拉运动放大显著提升了模型性能，通过放大细微面部运动，使其更易被LSTM检测。
• 注意力机制使模型能够聚焦于关键动态帧，从而提升真实与伪造人脸之间的判别能力。
• 混淆损失层通过平衡CNN与LSTM组件的学习动态，有效减少了过拟合，尤其在小样本场景下表现更优。
• 跨库测试表明，由于依赖时间运动线索，该方法的泛化能力优于静态方法（如LBP、CNN）。
• 当在高度不同的数据库之间进行测试（如从Replay Attack到MSU-MFSD）时，性能有所下降，但所提方法在所有领域偏移场景下仍优于所有基线模型。