[论文解读] Celeb-DF: A Large-scale Challenging Dataset for DeepFake Forensics

Yuezun Li, Xin Yang+3 more|arXiv (Cornell University)|Sep 27, 2019

Digital Media Forensic Detection参考文献 50被引用 103

一句话总结

Celeb-DF 引入一个大规模、高质量的 DeepFake 视频数据集（5,639 个 DeepFakes，超过 200 万帧），以更好地评估检测方法，结果显示当前检测器在这一更高质量的数据上存在困难。

ABSTRACT

AI-synthesized face-swapping videos, commonly known as DeepFakes, is an emerging problem threatening the trustworthiness of online information. The need to develop and evaluate DeepFake detection algorithms calls for large-scale datasets. However, current DeepFake datasets suffer from low visual quality and do not resemble DeepFake videos circulated on the Internet. We present a new large-scale challenging DeepFake video dataset, Celeb-DF, which contains 5,639 high-quality DeepFake videos of celebrities generated using improved synthesis process. We conduct a comprehensive evaluation of DeepFake detection methods and datasets to demonstrate the escalated level of challenges posed by Celeb-DF.

研究动机与目标

• 推动需要一个更大规模、质量更高的 DeepFake 视频数据集，以更好地匹配现实互联网内容。
• 创建 Celeb-DF，改进合成以减少先前数据集中出现的伪影。
• 对 Celeb-DF 和现有数据集上的当前 DeepFake 检测方法进行全面评估，以评估现实世界的挑战。

提出的方法

• 开发改进的 DeepFake 合成流程，生成 256x256 的脸部区域，更高的视觉质量，伪影更少。
• 应用颜色增强和颜色传输，以减少供体与目标面部之间的颜色不匹配。
• 改进人脸蒙版，使覆盖完整的面部区域并具有平滑的边界。
• 引入 Kalman 平滑到时序关键点，以减少帧间闪烁。
• 使用 Mask-SSIM（聚焦头部区域）定量评估视觉质量。
• 在包括 Celeb-DF 在内的多个数据集上，使用帧级 AUC 评估检测方法。

实验结果

研究问题

• RQ1 Celeb-DF 数据集在视觉质量上与以往的 DeepFake 数据集相比如何？
• RQ2 当前 DeepFake 检测方法在 Celeb-DF 相对于早期数据集的表现如何？
• RQ3 视频压缩对最先进检测器的检测性能有何影响？

主要发现

• Celeb-DF 包含 5,639 个 DeepFake 视频（超过 2,000,000 帧）和 59 位名人旗下的 590 个真实视频。
• Celeb-DF 的合成流水线在视觉质量方面的表现更高、伪影更少，凭借更高的 Mask-SSIM 分数得到证明（Celeb-DF：Table 2 中列出的 0.92 -SSIM）。
• 在评估的检测器中，Celeb-DF 通常是最具挑战的数据集，与较早的数据集相比，帧级平均 AUC 较低。
• 最近的方法（DSP-FWA）在测试检测器中达到最高性能，在研究摘要中大约为 87.4%（跨数据集的总体表现）。
• 压缩实验表明，随着更高的 H.264 压缩，检测器性能下降，尽管某些模型（例如 Xception 变体）仍相对稳健。