[论文解读] Manipulated Face Detector: Joint Spatial and Frequency Domain Attention Network

Zehao Chen, Hua Yang|arXiv (Cornell University)|May 6, 2020

Face recognition and analysis参考文献 42被引用 15

一句话总结

本文提出了一种联合空间域与频域注意力网络，用于检测高质量的伪造人脸图像。通过将面部语义分割（空间域）与离散傅里叶变换（频域）特征结合注意力机制，该模型在已见和未见的伪造数据上均实现了最先进性能，显著提升了现有方法的泛化能力。

ABSTRACT

Face manipulation methods develop rapidly in recent years, which can generate high quality manipulated face images. However, detection methods perform not well on data produced by state-of-the-art manipulation methods, and they lack of generalization ability. In this paper, we propose a novel manipulated face detector, which is based on spatial and frequency domain combination and attention mechanism. Spatial domain features are extracted by facial semantic segmentation, and frequency domain features are extracted by Discrete Fourier Transform. We use features both in spatial domain and frequency domain as inputs in proposed model. And we add attention-based layers to backbone networks, in order to improve its generalization ability. We evaluate proposed model on several datasets and compare it with other state-of-the-art manipulated face detection methods. The results show our model performs best on both seen and unseen data.

研究动机与目标

• 解决现有伪造人脸检测方法在最新人脸伪造技术上的泛化能力有限的问题。
• 通过融合空间域与频域的互补特征，提升检测性能。
• 通过主干网络中的注意力机制特征学习，增强模型的鲁棒性与泛化能力。
• 构建一个统一框架，有效结合语义与谱表示以实现伪造检测。

提出的方法

• 利用面部语义分割提取空间域特征，以捕捉高层次的面部结构与异常。
• 通过离散傅里叶变换获取频域特征，以建模频谱中的全局纹理与结构失真。
• 在神经网络早期阶段融合空间域与频域特征，以实现联合表征学习。
• 将注意力机制集成到主干网络中，以动态强调具有判别性的空间与频域特征。
• 采用交叉熵损失端到端训练模型，以优化检测性能。
• 在多个基准数据集上评估该方法，以评估其在多样化伪造类型下的鲁棒性。

实验结果

研究问题

• RQ1 结合空间域与频域特征是否能提升对高质量伪造人脸的检测性能？
• RQ2 基于注意力的特征学习如何增强模型对未见伪造方法的泛化能力？
• RQ3 空间与频域表征的早期融合是否优于模态特定或后期融合方法？
• RQ4 所提出的模型在已见与未见的伪造数据上与最先进方法相比表现如何？

主要发现

• 所提模型在多个基准数据集上对已见与未见数据均实现了最高性能。
• 注意力机制的引入显著提升了模型对未见伪造方法的泛化能力。
• 联合使用空间域（语义分割）与频域（DFT）特征，相比单独使用任一模态，能实现更鲁棒的检测。
• 该模型展现出卓越的泛化能力，在未见伪造类型上优于现有最先进方法。