[论文解读] Multi-attentional Deepfake Detection

Hanqing Zhao, Wenbo Zhou+4 more|arXiv (Cornell University)|Mar 3, 2021

Digital Media Forensic Detection参考文献 46被引用 15

一句话总结

本文提出了一种多注意力深度伪造检测框架，将深度伪造检测重新定义为细粒度分类任务，以捕捉细微且局部化的伪造痕迹。通过采用多个空间注意力头、纹理增强的浅层特征以及注意力引导的特征聚合，该方法在 FF++(HQ)、Celeb-DF 和 DFDC 数据集上实现了最先进性能，通过区域独立性损失和软注意力引导的数据增强，优于基线的二元分类器。

ABSTRACT

Face forgery by deepfake is widely spread over the internet and has raised severe societal concerns. Recently, how to detect such forgery contents has become a hot research topic and many deepfake detection methods have been proposed. Most of them model deepfake detection as a vanilla binary classification problem, i.e, first use a backbone network to extract a global feature and then feed it into a binary classifier (real/fake). But since the difference between the real and fake images in this task is often subtle and local, we argue this vanilla solution is not optimal. In this paper, we instead formulate deepfake detection as a fine-grained classification problem and propose a new multi-attentional deepfake detection network. Specifically, it consists of three key components: 1) multiple spatial attention heads to make the network attend to different local parts; 2) textural feature enhancement block to zoom in the subtle artifacts in shallow features; 3) aggregate the low-level textural feature and high-level semantic features guided by the attention maps. Moreover, to address the learning difficulty of this network, we further introduce a new regional independence loss and an attention guided data augmentation strategy. Through extensive experiments on different datasets, we demonstrate the superiority of our method over the vanilla binary classifier counterparts, and achieve state-of-the-art performance.

研究动机与目标

• 解决基线二元分类在检测细微、局部化深度伪造痕迹方面的局限性。
• 将深度伪造检测重新构架为细粒度分类问题，以更好地捕捉具有区分性的局部特征。
• 设计一种多注意力机制，使网络能够关注人脸中多个不同且具有区分性的区域。
• 引入区域独立性损失和注意力引导的数据增强策略，防止注意力坍塌并提升泛化能力。
• 在多个基准数据集上实现最先进检测性能。

提出的方法

• 使用多个空间注意力头生成独立的注意力图，分别聚焦于输入人脸图像的不同局部区域。
• 引入纹理特征增强模块，以保留并增强浅层卷积特征中的细微痕迹。
• 利用注意力图作为动态权重，对低层纹理特征和高层语义特征进行特征融合。
• 应用双线性注意力池化层，对每个注意力区域的特征独立池化，随后拼接用于最终分类。
• 设计区域独立性损失，通过最小化各注意力头响应区域的重叠，促进其响应的多样性。
• 实施注意力引导的数据增强（AGDA）策略，在训练过程中对高响应注意力区域进行软模糊处理，迫使网络从其他区域学习。

实验结果

研究问题

• RQ1 将深度伪造检测重新构架为细粒度分类任务，是否能通过聚焦于局部细微痕迹来提升检测性能？
• RQ2 如何有效训练多个注意力头，使其关注不同且具有区分性的区域，而非坍塌至单一主导区域？
• RQ3 何种损失函数和数据增强策略在促进注意力图解耦和提升鲁棒性方面最为有效？
• RQ4 增强浅层纹理特征是否有助于保留那些在深层网络层中容易丢失的细微伪造痕迹？
• RQ5 所提方法在真实世界深度伪造数据集上相对于标准二元分类基线模型，性能提升程度如何？

主要发现

• 所提方法在 FF++(HQ) 数据集上达到 97.60% 的准确率，在 Celeb-DF 数据集上达到 67.44% 的 AUC，优于所有基线模型。
• 消融实验表明，使用四个注意力头（M=4）时性能最佳，表明在感受野多样性与计算成本之间达到了最优平衡。
• 若不使用区域独立性损失，注意力头会坍塌至关注同一区域，如图 4 所示，证明该正则化策略的必要性。
• 区域独立性损失与软注意力引导数据增强（AGDA）的结合实现了最高性能（97.60% 准确率，67.44% AUC），如表 6 所示。
• 可视化结果证实，仅当同时使用 RIL 和软 AGDA 时（图 6），注意力图才能对不同区域中的多样化、具有区分性的特征产生响应。
• 采用 AGDA 和 RIL 的模型在 Celeb-DF 上达到 67.44% AUC，相比无此组件的基线模型提升了 2.61%。