[论文解读] A Convolutional LSTM based Residual Network for Deepfake Video Detection

Shahroz Tariq, Sang Yup Lee+1 more|arXiv (Cornell University)|Sep 16, 2020

Digital Media Forensic Detection参考文献 33被引用 16

一句话总结

该论文提出CLRNet，一种基于卷积LSTM的残差网络，通过捕捉连续视频帧之间的时序不一致性，分析视频帧序列以检测深度伪造视频。该方法利用迁移学习，在FaceForensics++数据集上实现了零样本检测场景下高达97.18%的准确率，展现出在多种深度伪造方法上的优越泛化能力，优于当前最先进模型。

ABSTRACT

In recent years, deep learning-based video manipulation methods have become widely accessible to masses. With little to no effort, people can easily learn how to generate deepfake videos with only a few victims or target images. This creates a significant social problem for everyone whose photos are publicly available on the Internet, especially on social media websites. Several deep learning-based detection methods have been developed to identify these deepfakes. However, these methods lack generalizability, because they perform well only for a specific type of deepfake method. Therefore, those methods are not transferable to detect other deepfake methods. Also, they do not take advantage of the temporal information of the video. In this paper, we addressed these limitations. We developed a Convolutional LSTM based Residual Network (CLRNet), which takes a sequence of consecutive images as an input from a video to learn the temporal information that helps in detecting unnatural looking artifacts that are present between frames of deepfake videos. We also propose a transfer learning-based approach to generalize different deepfake methods. Through rigorous experimentations using the FaceForensics++ dataset, we showed that our method outperforms five of the previously proposed state-of-the-art deepfake detection methods by better generalizing at detecting different deepfake methods using the same model.

研究动机与目标

• 解决现有深度伪造检测方法在未见过的深度伪造生成技术上泛化能力不足的问题。
• 利用视频帧之间的时序信息，这些信息包含真实视频中不存在的细微痕迹，以提高检测准确率。
• 开发一种基于迁移学习的框架，使单一模型能以最少的微调数据泛化于多种深度伪造类型。
• 在多种深度伪造方法的零样本和少样本检测场景下，超越现有最先进模型。
• 构建一种更具通用性的深度伪造检测系统，可直接应用于新出现的深度伪造生成技术，而无需从头开始重新训练。

提出的方法

• CLRNet采用卷积LSTM（ConvLSTM）架构，对连续视频帧序列中的时空依赖关系进行建模，捕捉帧间不一致性。
• 模型集成残差连接以稳定训练过程并改善深层网络中的梯度流动，从而增强对序列输入的特征学习能力。
• 采用迁移学习策略：模型首先在一种深度伪造类型（如FaceSwap）上进行预训练，然后在其他深度伪造类型（如Face2Face、Neural Texture）的少量样本上进行微调。
• 模型的输入为从视频中采样的10个连续帧序列，使网络能够检测单帧分析中不可见的细微时序痕迹。
• 框架使用FaceForensics++数据集进行训练和评估，包含原始视频、FaceSwap、Face2Face、Neural Texture和Deepfakes，以及来自Facebook挑战赛的额外真实和伪造视频。
• 性能在零样本和少样本迁移学习设置下进行评估，与基线微调方法（FT）在多种源-目标组合上进行比较。

实验结果

研究问题

• RQ1 在不重新训练的情况下，基于一种深度伪造类型训练的检测模型能否有效泛化到未见过的深度伪造方法？
• RQ2 与单帧方法相比，对连续视频帧之间时序依赖关系的建模是否能提升深度伪造检测性能？
• RQ3 使用极少目标数据的迁移学习对多种深度伪造生成技术的检测准确率有何影响？
• RQ4 统一模型能否通过迁移学习同时在多种深度伪造类型上实现高性能？
• RQ5 所提出的CLRNet架构是否比现有最先进深度伪造检测模型更具鲁棒性和泛化能力？

主要发现

• 当在相同源上训练时，CLRNet在FaceSwap数据集上达到94.37%的准确率，在Deepfakes上达到92.15%，显著优于基线微调方法（分别为45.17%和64.08%）。
• 在零样本检测中，CLRNet在Neural Texture上达到79.75%的准确率，在DFD上达到63.12%，而基线方法分别为62.09%和51.38%，展现出更优的泛化能力。
• 当仅用10段目标数据集（如Face2Face）进行微调时，CLRNet达到88.35%的准确率，优于基线的54.92%。
• 在多目标迁移学习中，CLRNet在四种深度伪造类型（DF、F2F、NT、DFD）上分别保持91.23%、87.50%、91.30%和87.13%的高性能，源准确率仅出现轻微下降。
• 在所有10项实验中，CLRNet在三种迁移学习场景下（单源到单目标、多源到单目标、单源到多目标）始终优于基线微调方法（FT）。
• 该模型表明，通过ConvLSTM进行时序建模至关重要，因为帧级方法无法检测到关键的帧间细微痕迹，而这些痕迹是深度伪造操作的重要指标。