[论文解读] Hybrid Deepfake Detection Utilizing MLP and LSTM

Jacob Mallet, Natalie Krueger+2 more|arXiv (Cornell University)|Apr 21, 2023

Digital Media Forensic Detection被引用 4

一句话总结

该论文提出了一种混合深度伪造检测模型，结合长短期记忆（LSTM）和多层感知机（MLP）神经网络，以检测图像中的合成人脸。该模型在140k真实与伪造人脸数据集上进行训练，检测准确率最高达到74.7%，证明了将序列建模与密集前馈处理相结合在深度伪造识别中的有效性。

ABSTRACT

The growing reliance of society on social media for authentic information has done nothing but increase over the past years. This has only raised the potential consequences of the spread of misinformation. One of the growing methods in popularity is to deceive users using a deepfake. A deepfake is an invention that has come with the latest technological advancements, which enables nefarious online users to replace their face with a computer generated, synthetic face of numerous powerful members of society. Deepfake images and videos now provide the means to mimic important political and cultural figures to spread massive amounts of false information. Models that can detect these deepfakes to prevent the spread of misinformation are now of tremendous necessity. In this paper, we propose a new deepfake detection schema utilizing two deep learning algorithms: long short term memory and multilayer perceptron. We evaluate our model using a publicly available dataset named 140k Real and Fake Faces to detect images altered by a deepfake with accuracies achieved as high as 74.7%

研究动机与目标

• 为应对社交媒体平台上日益严重的深度伪造虚假信息威胁。
• 开发一种能够识别图像中合成人脸的鲁棒深度伪造检测系统。
• 评估结合LSTM与MLP架构的混合模型在提升检测准确率方面的性能。
• 提出一种新颖的深度学习方法，同时利用时间与空间特征提取技术进行深度伪造检测。

提出的方法

• 该模型采用LSTM网络，以捕捉图像帧或图像块中面部特征的序列模式。
• 使用多层感知机（MLP）从提取的图像特征中学习高层次的非线性表示。
• 从140k真实与伪造人脸数据集中提取特征，该数据集包含真实与深度伪造生成的面部图像。
• 将LSTM与MLP的输出进行融合，以生成最终预测结果，判断输入图像是否为真实或伪造。
• 使用标准反向传播算法，结合分类交叉熵损失函数与Adam优化器进行模型训练。
• 应用数据增强与归一化技术，以提升泛化能力与训练稳定性。

实验结果

研究问题

• RQ1 与独立模型相比，结合LSTM与MLP的混合架构是否能提升深度伪造检测的准确率？
• RQ2 序列建模（LSTM）与密集建模（MLP）的融合在检测深度伪造图像中细微伪影方面的有效性如何？
• RQ3 使用140k真实与伪造人脸数据集，该混合方法可达到怎样的性能水平？
• RQ4 将时间建模与前馈处理相结合，是否能增强对合成面部特征的检测能力？

主要发现

• 该混合LSTM-MLP模型在140k真实与伪造人脸数据集上的检测准确率最高达到74.7%。
• 与单独使用任一模型相比，LSTM与MLP组件的集成显著提升了检测性能。
• 该模型展现出学习面部特征中复杂非线性模式的能力，这些模式可指示深度伪造的生成过程。
• 结果表明，将序列神经网络与密集神经网络架构相结合，可有效提升对合成面部内容的检测能力。