[论文解读] Detecting Deepfake Videos: An Analysis of Three Techniques

Armaan Pishori, Brittany Rollins+3 more|arXiv (Cornell University)|Jul 15, 2020

Digital Media Forensic Detection参考文献 8被引用 14

一句话总结

本文在Kaggle深度伪造检测竞赛背景下，评估了三种深度伪造检测技术——卷积LSTM、眨眼检测和灰度直方图。卷积LSTM模型通过识别视频帧中的生成对抗网络（GAN）生成伪影，实现了最佳性能；而灰度直方图方法在引入时序动态后展现出强大潜力，尽管受计算资源限制，其准确率仍优于基线模型。

ABSTRACT

Recent advances in deepfake generating algorithms that produce manipulated media have had dangerous implications in privacy, security and mass communication. Efforts to combat this issue have risen in the form of competitions and funding for research to detect deepfakes. This paper presents three techniques and algorithms: convolutional LSTM, eye blink detection and grayscale histograms-pursued while participating in the Deepfake Detection Challenge. We assessed the current knowledge about deepfake videos, a more severe version of manipulated media, and previous methods used, and found relevance in the grayscale histogram technique over others. We discussed the implications of each method developed and provided further steps to improve the given findings.

研究动机与目标

• 在Kaggle深度伪造检测竞赛背景下，评估并比较三种深度伪造检测技术——卷积LSTM、眨眼检测与灰度直方图。
• 评估预处理技术在提升深度伪造检测准确率方面的有效性。
• 识别当前检测模型因计算资源限制和数据集规模导致的局限性。
• 探索灰度直方图作为鲁棒、可扩展的深度伪造检测方法的潜力，尤其在改进时序建模方面。

提出的方法

• 实现了卷积LSTM架构，结合CNN进行空间特征提取与LSTM进行时序序列建模，从而在视频帧间实现伪影检测。
• 采用长短期循环卷积网络（LRCN）执行眨眼检测，以分析眼睑闭合的时序模式，利用深度伪造中眨眼缺失的生物学不可信性。
• 对每帧视频计算灰度直方图，并随时间聚合，通过时序扩展捕捉像素强度分布的动态变化。
• 模型在500GB真实与伪造视频数据集的50GB子集上进行训练，性能通过对数损失（log loss）衡量。
• 数据预处理包括帧缩放、人脸裁剪与时序采样，以降低计算负载，同时保留与检测相关的特征。
• 在验证集与测试集上评估模型性能，并与基线模型对比，以评估性能提升。

实验结果

研究问题

• RQ1 卷积LSTM模型在通过识别视频帧中GAN生成伪影来检测深度伪造方面效果如何？
• RQ2 眨眼模式在多大程度上可作为合成视频的可靠指标？模型性能在不同数据质量下如何变化？
• RQ3 当结合时序动态时，灰度直方图能否在深度伪造分类中超越传统基于直方图的检测方法？
• RQ4 计算资源限制与有限数据集规模对深度伪造检测模型准确率有何影响？
• RQ5 与全帧相比，聚焦特定面部区域（如人脸）而非全帧是否能提升基于直方图检测模型的性能？

主要发现

• 卷积LSTM模型在三种技术中表现最佳，即使人脸并非主要关注区域，也能有效识别GAN生成的伪影。
• 眨眼检测展现出潜力，但受伪造视频数据中异常值影响，表明其对数据质量和分布敏感。
• 灰度直方图表现出高准确率与低验证损失，尽管计算资源消耗大，仍优于其他方法，表明在更大数据集下具有强潜力。
• 灰度直方图模型的时序扩展显著提升了准确率，相较此前仅达61%准确率的静态直方图检测器，表现更优。
• 所有模型准确率均在80%–90%之间，但因仅使用总数据集500GB中的50GB，受计算资源限制，性能受限。
• 本研究结论认为，聚焦面部区域而非全帧的区域特定直方图分析，可通过减少无关图像区域的噪声，显著提升检测准确率。