[论文解读] DA-FDFtNet: Dual Attention Fake Detection Fine-tuning Network to Detect Various AI-Generated Fake Images

Young Oh Bang, Simon S. Woo|arXiv (Cornell University)|Dec 22, 2021

Generative Adversarial Networks and Image Synthesis被引用 6

一句话总结

本文提出DA-FDFtNet，一种微调神经网络，整合了微调Transformer（FTT）、MobileNetV3模块（MBblockV3）以及通道注意力模块，并采用预训练CNN主干网络，以检测各类AI生成的虚假人脸图像。通过仅使用1,000张真实图像和1,000张伪造图像进行微调，DA-FDFtNet在FaceForensics++数据集上实现了97.02%的准确率，相比基线模型最高提升了47%的准确率。

ABSTRACT

Due to the advancement of Generative Adversarial Networks (GAN), Autoencoders, and other AI technologies, it has been much easier to create fake images such as "Deepfakes". More recent research has introduced few-shot learning, which uses a small amount of training data to produce fake images and videos more effectively. Therefore, the ease of generating manipulated images and the difficulty of distinguishing those images can cause a serious threat to our society, such as propagating fake information. However, detecting realistic fake images generated by the latest AI technology is challenging due to the reasons mentioned above. In this work, we propose Dual Attention Fake Detection Fine-tuning Network (DA-FDFtNet) to detect the manipulated fake face images from the real face data. Our DA-FDFtNet integrates the pre-trained model with Fine-Tune Transformer, MBblockV3, and a channel attention module to improve the performance and robustness across different types of fake images. In particular, Fine-Tune Transformer consists of multiple numbers of an image-based self-attention module and a down-sampling layer. The channel attention module is also connected with the pre-trained model to capture the fake images feature space. We experiment with our DA-FDFtNet with the FaceForensics++ dataset and various GAN-generated datasets, and we show that our approach outperforms the previous baseline models.

研究动机与目标

• 为应对AI生成的虚假图像（尤其是深度伪造）日益增长的威胁，这些图像因高度逼真且训练数据有限而愈发难以检测。
• 在仅使用少量标注数据的前提下，提升对多种GAN与深度伪造生成方法的检测性能。
• 通过整合注意力机制与高效网络模块，增强模型的鲁棒性与特征学习能力。
• 开发一种可迁移、数据高效的检测框架，兼容现有的预训练CNN模型。
• 在多种真实世界虚假图像生成技术中验证所提方法的有效性。

提出的方法

• 模型使用预训练的CNN主干网络（如Xception、SqueezeNet），并冻结其特征以初始化网络。
• 引入微调Transformer（FTT）模块，结合基于图像的自注意力与下采样层，以提取分层特征。
• 采用MobileNetV3模块（MBblockV3）高效提取多尺度的空间与通道特征。
• 在最后一层添加通道注意力模块，以重新校准通道间的特征重要性，提升表征学习能力。
• 在微调过程中应用Cutout数据增强，参数设置为α=3, β=5（FaceForensics++）和α=3, β=10（GAN数据集），以提升小样本数据集上的泛化能力。
• 模型仅使用每数据集1,000张真实图像与1,000张伪造图像进行微调，实现低数据量下的检测。

实验结果

研究问题

• RQ1 在仅使用1,000张真实图像与1,000张伪造图像的极小数据量下，微调方法是否能在多种AI生成的虚假图像上实现高检测准确率？
• RQ2 与标准CNN相比，集成微调Transformer与通道注意力模块如何提升检测性能？
• RQ3 所提出的DA-FDFtNet是否能有效泛化至多种基于GAN与深度伪造的生成方法？
• RQ4 通道注意力模块对模型性能的贡献是什么？与基线模型FDFtNet相比表现如何？
• RQ5 当基线模型（如SqueezeNet）初始准确率较低时，该模型是否仍能保持高性能？

主要发现

• 当使用Xception作为主干网络时，DA-FDFtNet在FaceForensics++数据集上实现了97.02%的准确率，显著优于基线模型。
• 在不同数据集与主干网络下，该模型将基线准确率最高提升了47%，其中在使用SqueezeNet的DeepFakes数据集上提升最为显著（从50.00%提升至78.83%）。
• 消融实验表明，通道注意力模块相较基线FDFtNet平均提升2.3%的性能。
• 在GAN生成的数据集上，DA-FDFtNet将基线性能最高提升40%，即使原始模型（SqueezeNet）初始准确率仅为50.00%。
• 该模型在八种不同类型的虚假图像生成方法中均保持优异性能，包括FaceSwap、DeepFakes、Face2Face、NeuralTextures、StarGAN、PGGAN、StyleGAN与StyleGAN2。
• 使用Cutout数据增强（α=3, β=5，FaceForensics++；α=3, β=10，GAN数据集）能有效提升小样本训练集上的泛化能力。