[论文解读] Deepfake Detection Scheme Based on Vision Transformer and Distillation

Young Jin Heo, Young Ju Choi+2 more|arXiv (Cornell University)|Apr 3, 2021

Digital Media Forensic Detection参考文献 45被引用 41

一句话总结

本论文提出基于 Vision Transformer 的深度伪造检测器，将 patch embeddings 与 CNN 特征融合，并利用 EfficientNet 的蒸馏提高鲁棒性和准确性，在 DFDC 全数据集上实现比以前SOTA更高的 AUC 与 F1，且不需要集成。

ABSTRACT

Deepfake is the manipulated video made with a generative deep learning technique such as Generative Adversarial Networks (GANs) or Auto Encoder that anyone can utilize. Recently, with the increase of Deepfake videos, some classifiers consisting of the convolutional neural network that can distinguish fake videos as well as deepfake datasets have been actively created. However, the previous studies based on the CNN structure have the problem of not only overfitting, but also considerable misjudging fake video as real ones. In this paper, we propose a Vision Transformer model with distillation methodology for detecting fake videos. We design that a CNN features and patch-based positioning model learns to interact with all positions to find the artifact region for solving false negative problem. Through comparative analysis on Deepfake Detection (DFDC) Dataset, we verify that the proposed scheme with patch embedding as input outperforms the state-of-the-art using the combined CNN features. Without ensemble technique, our model obtains 0.978 of AUC and 91.9 of f1 score, while previous SOTA model yields 0.972 of AUC and 90.6 of f1 score on the same condition.

研究动机与目标

• 在 CNN 基于方法的过拟合背景下，推动鲁棒的深度伪造检测。
• 利用 Vision Transformer 捕捉跨补丁的全局上下文和伪造迹象。
• 将 patch embeddings 与 CNN 特征结合，提升对被操纵区域的检测。
• 采用来自强教师（EfficientNet-B7）的蒸馏以减少过拟合并提升泛化。

提出的方法

• 将输入帧拆分为补丁并获得补丁嵌入。
• 将补丁嵌入与 EfficientNet 的 CNN 特征结合，形成输入 token。
• 加入分类 token 和蒸馏 token，并通过 Transformer 编码器（MSA + GELU MLP）处理。
• 使用蒸馏机制，在训练期间教师模型引导蒸馏 token。
• 使用一个联合损失进行训练，在类别与蒸馏输出之间平衡 BCE（λ = 0.5）。
• 在 DFDC 上进行预训练，补丁大小为 32，嵌入维度 1024；16 个注意头和 24 层 Transformer。

实验结果

研究问题

• RQ1 在无需集成方法的情况下，Vision Transformer 结合补丁嵌入与 CNN 特征融合是否能在 DFDC 全数据集上超越基于 CNN 的检测器？
• RQ2 来自 EfficientNet-B7 的蒸馏是否能提升 Transformer 基检测器的鲁棒性并减少过拟合？
• RQ3 在相同的训练/测试条件下，所提方法在 AUC 与 F1 上与前一 SOTA 的对比如何？

主要发现

• 在 DFDC 全数据集上达到 ROC-AUC 0.978，高于 SOTA 的 0.972。
• 在相同阈值（0.55）下，F1 分数达到 91.9，高于 SOTA 的 90.6。
• 模型在伪造视频上表现出鲁棒性，判别能力更强，体现在较低的验证伪造损失和相当的真实损失。
• 蒸馏 token 在测试时优于分类 token，促进检测性能提升。