[论文解读] Dual-Cross Central Difference Network for Face Anti-Spoofing

Zitong Yu, Yunxiao Qin+3 more|arXiv (Cornell University)|May 4, 2021

Biometric Identification and Security参考文献 21被引用 13

一句话总结

本文提出了一种用于人脸反spoofing的双路交叉中心差分网络（DC-CDN），引入了交叉中心差分卷积（C-CDC），将中心梯度特征解耦为水平/垂直与对角方向，从而提升效率与性能。此外，还提出了补丁交换（PE）数据增强方法与交叉特征交互模块（CFIM），在多个基准数据集的多种测试协议下实现了最先进性能，同时参数量与计算量显著减少。

ABSTRACT

Face anti-spoofing (FAS) plays a vital role in securing face recognition systems. Recently, central difference convolution (CDC) has shown its excellent representation capacity for the FAS task via leveraging local gradient features. However, aggregating central difference clues from all neighbors/directions simultaneously makes the CDC redundant and sub-optimized in the training phase. In this paper, we propose two Cross Central Difference Convolutions (C-CDC), which exploit the difference of the center and surround sparse local features from the horizontal/vertical and diagonal directions, respectively. It is interesting to find that, with only five ninth parameters and less computational cost, C-CDC even outperforms the full directional CDC. Based on these two decoupled C-CDC, a powerful Dual-Cross Central Difference Network (DC-CDN) is established with Cross Feature Interaction Modules (CFIM) for mutual relation mining and local detailed representation enhancement. Furthermore, a novel Patch Exchange (PE) augmentation strategy for FAS is proposed via simply exchanging the face patches as well as their dense labels from random samples. Thus, the augmented samples contain richer live/spoof patterns and diverse domain distributions, which benefits the intrinsic and robust feature learning. Comprehensive experiments are performed on four benchmark datasets with three testing protocols to demonstrate our state-of-the-art performance.

研究动机与目标

• 通过解耦全方向中心差分卷积（CDC）的梯度计算，解决其在人脸反spoofing中的效率低下与冗余问题。
• 通过一种新型稀疏卷积族，利用水平/垂直与对角方向之间的梯度差异，提升局部特征表示能力。
• 通过交叉特征交互模块（CFIM）实现双流C-CDC分支间的相互关系挖掘，增强特征学习与判别能力。
• 设计一种任务特定的数据增强策略——补丁交换（PE），通过混合不同样本的面部区域及其密集标签，合成多样化spoofing模式，提升在有限训练数据下的泛化能力。
• 在多种基准数据集上，于同数据集、跨数据集与跨类型测试协议下均实现最先进性能。

提出的方法

• 提出交叉中心差分卷积（C-CDC），一种稀疏卷积族，分别沿水平/垂直与对角方向独立计算中心梯度，显著减少参数量与计算量。
• 设计双路交叉中心差分网络（DC-CDN），采用两条并行分支分别处理C-CDC(HV)与C-CDC(DG)，实现方向特异性特征学习。
• 引入交叉特征交互模块（CFIM），通过可学习注意力权重（α, β）动态融合双分支特征，增强局部细节表征能力。
• 通过在随机样本间交换面部区域及其密集标签，开发补丁交换（PE）增强方法，生成具有多样化领域分布的混合spoofing模式。
• 使用PE增强后的数据进行DC-CDN训练，利用模型从合成的多样化spoofing样本中学习鲁棒表征的能力。
• 采用可学习的CFIM参数初始化策略（α, β）初始化为零，实证表明该策略可获得最优性能。

实验结果

研究问题

• RQ1 将中心差分梯度解耦为交叉方向分量（水平/垂直与对角）是否能提升人脸反spoofing中特征表征的效率与性能？
• RQ2 C-CDC中对称稀疏邻域采样是否优于非对称或更密集的采样方式？
• RQ3 所提出的交叉特征交互模块（CFIM）是否能通过建模双流C-CDC分支间的相互关系，有效增强局部特征表征？
• RQ4 所提出的补丁交换（PE）增强策略是否具备跨架构泛化能力，并能提升对未见spoofing类型与部分攻击的鲁棒性？
• RQ5 结合C-CDC与PE的DC-CDN是否能在多个基准数据集与多种测试协议（包括跨数据集与跨类型评估）下实现最先进性能？

主要发现

• C-CDC在仅使用1/9参数量与更低计算成本下，性能优于全方向CDC，展现出更优的效率与表征能力。
• 采用C-CDC(HV)与C-CDC(DG)分支及CFIM模块的DC-CDN在OULU-NPU数据集Protocol 1上达到0.5%的ACER，优于现有方法。
• PE增强策略在多种架构（如DepthNet与CDCN）中均一致提升性能，即使在小规模训练数据（如OULU-NPU Protocol 4）下亦然。
• 经PE增强训练的模型可在部分攻击场景（如部分打印攻击）中成功定位spoofing区域，而无PE的基线模型则无法检测此类模式。
• 采用零初始化（α, β = 0）的可学习CFIM获得最佳性能，注意力权重（α, β）在训练过程中表现出稳定且有意义的动力学行为。
• 消融实验表明，C-CDC中对称稀疏采样优于非对称或更密集采样，且CFIM显著提升了特征判别能力。