[论文解读] MRI-GAN: A Generalized Approach to Detect DeepFakes using Perceptual Image Assessment

Pratikkumar Prajapati, Chris Pollett|arXiv (Cornell University)|Feb 28, 2022

Digital Media Forensic Detection被引用 9

一句话总结

本文提出 MRI-GAN，一种基于生成对抗网络（GAN）的框架，通过结构相似性（SSIM）检测深度伪造（DeepFakes）中真实与虚假人脸之间的像素级差异，生成感知上的'图像核磁共振'（image MRIs）。尽管测试准确率为74%，低于普通帧基线模型的91%，但该方法提供了一种通用且基于感知的检测范式，适用于除人脸替换之外的多种视频篡改形式。

ABSTRACT

DeepFakes are synthetic videos generated by swapping a face of an original image with the face of somebody else. In this paper, we describe our work to develop general, deep learning-based models to classify DeepFake content. We propose a novel framework for using Generative Adversarial Network (GAN)-based models, we call MRI-GAN, that utilizes perceptual differences in images to detect synthesized videos. We test our MRI-GAN approach and a plain-frames-based model using the DeepFake Detection Challenge Dataset. Our plain frames-based-model achieves 91% test accuracy and a model which uses our MRI-GAN framework with Structural Similarity Index Measurement (SSIM) for the perceptual differences achieves 74% test accuracy. The results of MRI-GAN are preliminary and may be improved further by modifying the choice of loss function, tuning hyper-parameters, or by using a more advanced perceptual similarity metric.

研究动机与目标

• 开发一种通用的、基于深度学习的方法，以检测各类生成技术下的深度伪造内容。
• 应对传统视觉与统计分析难以察觉的合成媒体检测挑战。
• 探索将感知图像评估（尤其是 SSIM）作为识别深度伪造中细微篡改的理论基础。
• 评估基于 GAN 的 MRI 生成框架在区分真实与虚假面部内容方面的有效性。
• 为检测不仅限于人脸替换的视频篡改（如其他形式的视频操纵）奠定基础。

提出的方法

• MRI-GAN 训练 GAN 生成'图像核磁共振'（MRIs），通过可配置的相似性函数（如 SSIM）计算输入图像与其对应真实图像之间的感知差异。
• 模型采用 GAN 架构，其中生成器基于输入图像及其源真实图像学习生成图像差异（MRIs），判别器则用于区分真实与生成的 MRI。
• 感知差异函数 f 通过 SSIM 实例化，以量化指示篡改行为的像素级不匹配。
• 一个独立的深度伪造检测模型处理生成的 MRI，使用预训练的 EfficientNet-B0 提取特征，随后进行全局平均池化和一个包含 ReLU 与 Dropout 的两层 MLP。
• 通过基于阈值的投票机制，聚合视频帧中的面部预测结果：若超过一定比例的帧的虚假概率超过阈值，则判定该视频为伪造。
• 通过网格搜索调整超参数（如 FAKE_FRAME_THRESHOLD 和 FAKE_FRACTION），以优化视频级别的分类性能。

实验结果

研究问题

• RQ1 基于 GAN 的框架生成感知图像差异（MRIs）是否能提升对深度伪造的检测效果，相比标准帧基模型？
• RQ2 SSIM 作为感知相似性度量，在识别人脸替换视频中的细微伪影方面效果如何？
• RQ3 MRI-GAN 框架在不同深度伪造生成方法及真实世界视频条件下的泛化能力如何？
• RQ4 MRI-GAN 是否可扩展至检测非人脸替换类的视频篡改，超越人脸替换的范畴？
• RQ5 哪些超参数配置能最优地将面部级别预测聚合为准确的视频级别分类？

主要发现

• 基于普通帧的模型达到 91% 的测试准确率，为比较提供了强有力的基线。
• 当使用 SSIM 作为感知差异函数时，MRI-GAN 方法的测试准确率为 74%，表明其性能低于基线模型。
• MRI-GAN 模型的真正例率（TPR）为 69%，假负例率（FNR）为 31%，表明其未能识别出大量伪造视频。
• MRI-GAN 的受试者工作特征曲线下面积（AUC）为 0.76，显著低于基线模型的 0.95。
• 网格搜索确定了最优参数：MRI-GAN 的 FAKE_FRAME_THRESHOLD = 0.70 和 FAKE_FRACTION = 0.30；基线模型为 0.80 和 0.30。
• 作者指出潜在改进方向，包括使用 L1 损失替代 L2 损失，以及探索 Zhai 和 Min（2021）提出的先进感知度量，以减少模糊并提升检测性能。