[论文解读] DeeperForensics Challenge 2020 on Real-World Face Forgery Detection: Methods and Results

Liming Jiang, Zhengkui Guo+19 more|arXiv (Cornell University)|Feb 18, 2021

Face recognition and analysis参考文献 26被引用 8

一句话总结

本论文介绍了 DeeperForensics Challenge 2020，这是一个基于 DeeperForensics-1.0 数据集的大规模真实世界人脸伪造检测竞赛，包含 60,000 个视频和 17.6 百万帧。优胜方法利用了 EfficientNet-b5 等强大主干网络，通过注意力机制实现时间建模，并结合多种数据增强策略的 3D CNN，实现了在包含多样化失真和未见伪造方法的隐藏测试集上的高性能表现。

ABSTRACT

This paper reports methods and results in the DeeperForensics Challenge 2020 on real-world face forgery detection. The challenge employs the DeeperForensics-1.0 dataset, one of the most extensive publicly available real-world face forgery detection datasets, with 60,000 videos constituted by a total of 17.6 million frames. The model evaluation is conducted online on a high-quality hidden test set with multiple sources and diverse distortions. A total of 115 participants registered for the competition, and 25 teams made valid submissions. We will summarize the winning solutions and present some discussions on potential research directions.

研究动机与目标

• 推进在未知来源和多样化失真条件下的真实世界人脸伪造检测的最先进水平。
• 评估检测模型在分布更丰富于训练数据的隐藏测试集上的泛化能力。
• 识别提升检测深度伪造视频鲁棒性和性能的关键方法组件。
• 基准化数据增强、主干网络架构和时间建模在伪造检测中的有效性。
• 激发对未见伪造技术与真实世界扰动泛化能力的研究。

提出的方法

• 使用 DeeperForensics-1.0 数据集，包含 60,000 个视频和 17.6 百万帧，通过端到端人脸替换框架（DF-VAE）生成，并施加了七种真实世界扰动。
• 采用两阶段训练策略：首先在 EfficientNet-b5 上预训练图像分类器，然后通过时间注意力模块微调以建模视频级动态。
• 应用广泛的图像增强技术，包括随机裁剪、翻转、亮度对比度调整，以及 DeeperForensics-1.0 实现中的扰动。
• 在裁剪的人脸片段上使用 3D CNN（I3D、3D ResNet、R(2+1)D），将尺寸调整为 64×224×224 或 64×112×112，并在 Kinetics 数据集上预训练用于动作识别。
• 整合外部数据集（DFDC、DeepFake Detection、FaceForensics++）以提升模型泛化能力和鲁棒性。
• 在测试时应用增强（翻转）和将分数裁剪至 [0.01, 0.99] 范围，以稳定预测并减少极端损失的影响。

实验结果

研究问题

• RQ1 不同主干网络架构（如 EfficientNet-b5）在真实世界伪造数据上的检测性能有何影响？
• RQ2 通过注意力机制实现的时间建模在视频级伪造信号检测中的准确率提升程度如何？
• RQ3 多样化的数据增强策略在模拟真实世界分布偏移并提升模型泛化能力方面的有效性如何？
• RQ4 在动作识别数据集上预训练的 3D CNN 是否能有效检测被篡改人脸视频中的细微痕迹？
• RQ5 模型在未见的伪造方法和训练数据中未出现的失真条件下的泛化能力如何？

主要发现

• 优胜解决方案在隐藏测试集上实现了最先进性能，表现出对未见伪造方法和失真的强泛化能力。
• 采用 EfficientNet-b5 与时间注意力模块的两阶段模型优于独立的图像或视频模型，凸显了联合时空学习的重要性。
• 第三名解决方案采用 3D CNN（I3D、3D ResNet、R(2+1)D），在 Kinetics 上预训练并结合外部数据集，展现出在多样化测试样本中的强鲁棒性。
• 数据增强策略（包括随机裁剪、翻转和颜色抖动）显著提升了模型在隐藏测试集上的泛化能力和性能。
• 整合 DFDC 和 FaceForensics++ 等外部数据集增强了模型鲁棒性，尤其在检测不同人脸替换流水线产生的痕迹方面表现突出。
• 尽管性能优异，模型在泛化到未见伪造技术方面仍存在困难，表明当前检测能力仍存在关键差距。