[论文解读] FDFtNet: Facing Off Fake Images using Fake Detection Fine-tuning Network

Hyeonseong Jeon, Youngoh Bang+1 more|arXiv (Cornell University)|Jan 5, 2020

Digital Media Forensic Detection参考文献 33被引用 8

一句话总结

FDFtNet 是一种轻量级、微调型神经网络架构，通过仅使用少量真实与虚假图像，显著提升预训练CNN在鲁棒虚假图像检测中的性能。通过集成一种新型基于自注意力机制的微调Transformer（FTT）模块和MobileNet V3模块，其在Deepfake数据集上达到97.02%的最先进准确率，在GAN生成数据集上达到90.29%，显著优于基线模型，且所需数据极少。

ABSTRACT

Creating fake images and videos such as "Deepfake" has become much easier these days due to the advancement in Generative Adversarial Networks (GANs). Moreover, recent research such as the few-shot learning can create highly realistic personalized fake images with only a few images. Therefore, the threat of Deepfake to be used for a variety of malicious intents such as propagating fake images and videos becomes prevalent. And detecting these machine-generated fake images has been quite challenging than ever. In this work, we propose a light-weight robust fine-tuning neural network-based classifier architecture called Fake Detection Fine-tuning Network (FDFtNet), which is capable of detecting many of the new fake face image generation models, and can be easily combined with existing image classification networks and finetuned on a few datasets. In contrast to many existing methods, our approach aims to reuse popular pre-trained models with only a few images for fine-tuning to effectively detect fake images. The core of our approach is to introduce an image-based self-attention module called Fine-Tune Transformer that uses only the attention module and the down-sampling layer. This module is added to the pre-trained model and fine-tuned on a few data to search for new sets of feature space to detect fake images. We experiment with our FDFtNet on the GANsbased dataset (Progressive Growing GAN) and Deepfake-based dataset (Deepfake and Face2Face) with a small input image resolution of 64x64 that complicates detection. Our FDFtNet achieves an overall accuracy of 90.29% in detecting fake images generated from the GANs-based dataset, outperforming the state-of-the-art.

研究动机与目标

• 为应对由GAN和少样本学习技术生成的高质量虚假图像日益增长的威胁。
• 开发一种轻量级、可泛化的虚假图像检测方法，仅需少量训练样本。
• 在不从零开始训练的前提下，提升现有预训练CNN在虚假图像检测中的性能。
• 通过高效微调实现对新型虚假图像生成模型的快速适应。

提出的方法

• 提出一种新型基于图像的自注意力模块——微调Transformer（FTT），仅使用注意力机制和下采样层来学习新的特征表示。
• 在移除原始分类头后，将FTT模块与预训练CNN主干网络（如Xception、ResNetV2、ShallowNetV3）集成。
• 采用MobileNet V3模块（MBblockV3）通过深度可分离卷积和高效架构增强特征提取。
• 通过Cutout数据增强方法（超参数α=3，β=10）提升小样本数据集上的鲁棒性。
• 在有限的真实与虚假图像对上端到端微调整个FDFtNet架构，使用标准交叉熵损失。
• 采用全局平均池化（GAP）后接最终分类层，预测图像为真实或虚假的标签。

实验结果

研究问题

• RQ1 一种轻量级、基于微调的神经网络架构能否在极少训练数据下有效检测由现代GAN和少样本方法生成的多样化虚假图像？
• RQ2 与标准预训练模型微调相比，集成自注意力模块（FTT）在检测性能上有多大提升？
• RQ3 FDFtNet在不同虚假图像生成技术（如Progressive Growing GAN和Face2Face）之间具有多大程度的泛化能力？
• RQ4 在有限数据的基准数据集上，该方法是否显著优于现有最先进虚假检测模型？
• RQ5 FDFtNet能否通过微调显著提升性能较差的基线模型（如SqueezeNet）的性能？

主要发现

• 在Deepfake数据集上，FDFtNet达到97.02%的最先进准确率，较之前最先进方法（Xception）高出0.6%。
• 在基于GAN的数据集（Progressive Growing GAN）上，FDFtNet达到90.29%的准确率，即使在低分辨率（64×64）下也表现出色。
• 消融实验表明，FTT模块贡献显著，将其加入Xception后准确率从94.56%提升至97.02%，提升2.46%。
• 所有基线模型，包括SqueezeNet（基线准确率50.00%），均得到显著改善，SqueezeNet经FDFtNet微调后准确率达到92.82%。
• 模型在不同数据集间泛化良好，将ResNetV2在Face2Face数据集上的准确率从58.83%提升至85.15%，并在该数据集上达到96.67%的准确率。
• FDFtNet在Deepfake数据集上达到99.37%的AUROC，表明其在区分真实与虚假图像方面具有高度可靠性。