[论文解读] Learnable Multi-level Frequency Decomposition and Hierarchical Attention Mechanism for Generalized Face Presentation Attack Detection

Meiling Fang, Naser Damer+2 more|arXiv (Cornell University)|Sep 16, 2021

Face recognition and analysis被引用 4

一句话总结

本文提出 LMFD-PAD，一种双流卷积神经网络框架，结合可学习的多级频域分解与分层注意力机制，以提升面部活体攻击检测（PAD）的泛化能力。通过联合学习空间域与频域特征，并利用针对特征抽象层级定制的注意力模块，该方法在未见条件下的跨数据集性能达到最先进水平，将 OULU-NPU 数据集上的 HTER 降低至 15.47%。

ABSTRACT

With the increased deployment of face recognition systems in our daily lives, face presentation attack detection (PAD) is attracting much attention and playing a key role in securing face recognition systems. Despite the great performance achieved by the hand-crafted and deep-learning-based methods in intra-dataset evaluations, the performance drops when dealing with unseen scenarios. In this work, we propose a dual-stream convolution neural networks (CNNs) framework. One stream adapts four learnable frequency filters to learn features in the frequency domain, which are less influenced by variations in sensors/illuminations. The other stream leverages the RGB images to complement the features of the frequency domain. Moreover, we propose a hierarchical attention module integration to join the information from the two streams at different stages by considering the nature of deep features in different layers of the CNN. The proposed method is evaluated in the intra-dataset and cross-dataset setups, and the results demonstrate that our proposed approach enhances the generalizability in most experimental setups in comparison to state-of-the-art, including the methods designed explicitly for domain adaption/shift problems. We successfully prove the design of our proposed PAD solution in a step-wise ablation study that involves our proposed learnable frequency decomposition, our hierarchical attention module design, and the used loss function. Training codes and pre-trained models are publicly released

研究动机与目标

• 解决在未见传感器与光照条件下面部活体攻击检测（PAD）中的泛化差距问题。
• 通过整合空间域与频域表征，克服基于深度学习的 PAD 方法中手工设计特征的局限性与过拟合问题。
• 通过自适应学习频率滤波器而非使用固定变换，提升特征的判别性与鲁棒性。
• 通过设计尊重卷积神经网络特征抽象层级的分层注意力机制，增强跨域特征融合。
• 在与最先进方法（包括领域自适应方法）的对比中，展示更优的跨数据集性能。

提出的方法

• 采用双流卷积神经网络架构：一路处理 RGB 图像以学习空间特征，另一路应用可学习的频率滤波器，将图像分解为多级频率分量。
• 使用可微分、可学习的滤波器进行离散余弦变换（DCT），提取对传感器与光照变化不敏感的频域特征。
• 引入分层注意力机制（HAM），在低层卷积层应用空间注意力（用于纹理特征），在高层卷积层应用通道注意力（用于语义特征）。
• 通过 HAM 在多个阶段融合双流特征，实现在特征抽象层级基础上的早期且自适应的特征集成。
• 采用组合损失进行网络监督：使用焦点损失（Focal loss）进行二分类，使用平滑 L1 损失（Smooth L1 loss）进行像素级特征图监督，以提升鲁棒性。
• 通过反向传播端到端训练，实现频率滤波器、注意力权重与分类头的联合优化。

实验结果

研究问题

• RQ1 可学习的多级频域分解能否提升面部 PAD 模型在未见传感器与光照条件下的泛化能力？
• RQ2 一种适应卷积神经网络特征抽象层级的分层注意力机制，是否能增强特征融合并提升检测性能？
• RQ3 在跨数据集 PAD 场景中，空间域与频域特征的融合相较于单模态方法有何优势？
• RQ4 所提出的组件——可学习频率滤波器、分层注意力机制与组合损失——在提升泛化能力方面各贡献多少？
• RQ5 该模型能否在无需过拟合的情况下，有效学习多种采集设备与环境下的判别性攻击伪影？

主要发现

• 所提出的 LMFD-PAD 模型在 O&C&I → M 跨数据集设置下达到 15.47% 的 HTER，优于最先进方法，包括专为领域偏移设计的方法。
• 消融实验表明，每个组件——可学习频域分解、分层注意力机制与组合损失——均对性能提升有显著贡献。
• t-SNE 可视化显示，即使在光照与设备条件变化下，真实样本与攻击样本的嵌入特征在特征空间中仍保持良好分离。
• 该模型在不同环境与设备下对攻击样本表现出稳健的聚类能力，表明其能有效挖掘可泛化的攻击伪影。
• HAM 模块通过实现空间与频域特征的更早、更上下文感知的融合，在所有跨数据集设置中均提升了性能。
• 使用焦点损失与平滑 L1 损失相比标准 BCE 损失，展现出更强的泛化能力，尤其在类别不平衡的跨数据集评估场景中。