[论文解读] Deep Convolutional Pooling Transformer for Deepfake Detection

Tianyi Wang, Harry H. Cheng+2 more|arXiv (Cornell University)|Sep 12, 2022

Generative Adversarial Networks and Image Synthesis被引用 12

一句话总结

本文提出了一种深度卷积池化Transformer（DCPT）用于深度伪造检测，该模型结合CNN的局部特征提取与通过卷积池化和重注意力机制增强的全局注意力机制。通过利用高质量关键帧而非随机采样的帧，该模型在多个基准测试中达到最先进性能，在DF-1.0数据集上相比浅层模型实现11.28%的AUC提升，并展现出优越的跨数据集泛化能力。

ABSTRACT

Recently, Deepfake has drawn considerable public attention due to security and privacy concerns in social media digital forensics. As the wildly spreading Deepfake videos on the Internet become more realistic, traditional detection techniques have failed in distinguishing between real and fake. Most existing deep learning methods mainly focus on local features and relations within the face image using convolutional neural networks as a backbone. However, local features and relations are insufficient for model training to learn enough general information for Deepfake detection. Therefore, the existing Deepfake detection methods have reached a bottleneck to further improve the detection performance. To address this issue, we propose a deep convolutional Transformer to incorporate the decisive image features both locally and globally. Specifically, we apply convolutional pooling and re-attention to enrich the extracted features and enhance efficacy. Moreover, we employ the barely discussed image keyframes in model training for performance improvement and visualize the feature quantity gap between the key and normal image frames caused by video compression. We finally illustrate the transferability with extensive experiments on several Deepfake benchmark datasets. The proposed solution consistently outperforms several state-of-the-art baselines on both within- and cross-dataset experiments.

研究动机与目标

• 解决现有深度伪造检测模型因依赖局部特征和低质量帧而导致在未见数据集上泛化能力不足的局限性。
• 克服标准视频帧提取过程中因压缩导致的图像质量退化问题，从而限制特征丰富度。
• 通过利用当前方法中被低估的高分辨率、信息保留完整的关键帧，提升检测性能。
• 通过一种新型Transformer架构（集成卷积池化与重注意力机制）增强全局特征学习，以建模长距离依赖关系。
• 在多种深度伪造数据集上展示卓越的可迁移性，尤其在跨数据集评估设置下表现突出。

提出的方法

• 使用视频压缩感知的帧选择方法从视频中提取关键帧，以保留高分辨率、无伪影的内容。
• 利用卷积神经网络（CNNs）堆叠结构从人脸图像中提取局部特征。
• 应用卷积池化操作在保留主要特征的同时降低维度，增强特征表示能力。
• 在Transformer编码器中集成重注意力机制，以维持注意力图的多样性，防止深层网络中的注意力崩溃。
• 在关键帧与普通帧的组合数据上进行训练，以提升对不同帧质量的鲁棒性与泛化能力。
• 采用包含三个阶段的深层Transformer架构，每个阶段均包含池化层，以逐步学习分层的全局表征。

实验结果

研究问题

• RQ1 由于关键帧具有更高的分辨率并减少了压缩伪影，其是否能显著提升深度伪造检测性能，相比随机采样的帧？
• RQ2 在Transformer架构中集成卷积池化与重注意力机制，如何增强全局特征学习与检测准确率？
• RQ3 与最先进基线相比，所提模型在不同深度伪造数据集间的泛化能力（跨数据集性能）达到何种程度？
• RQ4 在跨数据集评估中，何种模型深度能在性能与泛化能力之间实现最佳平衡？
• RQ5 各个组件（池化、投影、重注意力）在不同数据集上的整体检测性能中分别起到何种贡献？

主要发现

• 所提出的DCPT模型在DFDC上实现5.8%的AUC提升，在Celeb-DF上提升7.51%，在DF-1.0上提升11.28%（相比深度为14的浅层模型），在深度24时达到最优性能。
• 深度24的模型实现最佳跨数据集性能，而更深的模型（深度32）在DFDC、Celeb-DF和DF-1.0上出现性能下降，归因于过拟合。
• 重注意力机制对跨数据集泛化贡献最大，在DF-1.0上提升AUC超过1%，在FF++上也表现出微弱增益。
• 卷积池化与投影模块各自在FF++上提升AUC约3%，在DF-1.0上提升最高达4%，表明其在噪声条件下具有强鲁棒性。
• 在关键帧与普通帧的组合数据上进行训练，使模型在两种帧类型上均保持最优检测性能，证实了模型的鲁棒性。
• 可视化结果表明，关键帧相比普通帧能生成更丰富、更具判别力的面部特征表示，尤其在检测面部几何与纹理的细微不一致性方面表现更优。