[论文解读] Celeb-DF: A New Dataset for DeepFake Forensics

Yuezun Li, Xin Yang+3 more|arXiv (Cornell University)|Sep 27, 2019

Digital Media Forensic Detection参考文献 11被引用 89

一句话总结

本文提出了Celeb-DF，一个通过优化的合成算法生成的高质量DeepFake视频数据集，有效减少了视觉伪影，从而实现了对检测算法更真实的评估。该数据集对现有DeepFake检测方法进行了基准测试，揭示了性能差距，并强调了在真实场景中开发鲁棒且具备伪影感知能力的检测模型的必要性。

ABSTRACT

AI-synthesized face swapping videos, commonly known as the DeepFakes, have become an emerging problem recently. Correspondingly, there is an increasing interest in developing algorithms that can detect them. However, existing dataset of DeepFake videos suffer from low visual quality and abundant artifacts that do not reflect the reality of DeepFake videos circulated on the Internet. In this work, we present a new DeepFake dataset, Celeb-DF, for the development and evaluation of DeepFake detection algorithms. The Celeb-DF dataset is generated using a refined synthesis algorithm that reduces the visual artifacts observed in existing datasets. Based on the Celeb-DF dataset, we also benchmark existing DeepFake detection algorithms.

研究动机与目标

• 为解决现有DeepFake数据集存在的视觉质量低劣和伪影过多的问题。
• 开发一个更贴近在线传播的真实世界DeepFake视频视觉质量的新数据集。
• 为在更真实条件下评估现有DeepFake检测算法提供基准。
• 通过提供更高保真度和更少合成伪影的数据集，推动更鲁棒检测模型的开发。

提出的方法

• Celeb-DF数据集采用优化的面部替换合成算法生成，相比先前方法显著减少了视觉伪影。
• 数据集包含高分辨率名人视频片段，通过最先进的神经网络实现面部替换。
• 视频经过精心筛选，以保留面部细节和运动一致性，减少不自然的失真。
• 数据集结构包含真实与伪造视频对，以实现对检测模型的公平评估。
• 建立了评估协议，用于在新数据集上对现有DeepFake检测算法进行基准测试。
• 数据集已公开发布，以支持DeepFake取证领域的可复现研究。

实验结果

研究问题

• RQ1 现有数据集中DeepFake视频的视觉质量与网络上真实世界样本相比如何？
• RQ2 当前数据集中存在的视觉伪影在多大程度上误导了DeepFake检测模型的评估？
• RQ3 现有检测算法在Celeb-DF这类高保真度数据集上的表现，与在低质量基准上的表现有何差异？
• RQ4 优化的合成方法能否生成更逼真的DeepFake视频，更准确地反映真实世界中的分布？
• RQ5 在高保真度数据集上评估时，当前检测模型存在哪些性能差距？

主要发现

• 与先前数据集相比，Celeb-DF数据集显著减少了视觉伪影，提供了更真实的DeepFake视频表征。
• 现有DeepFake检测模型在Celeb-DF上的性能明显下降，表明以往基准可能高估了模型的鲁棒性。
• 优化的合成方法成功保留了面部细节和运动一致性，提升了生成视频的真实性。
• 该数据集表明，依赖伪影的检测策略在高保真度DeepFakes上效果较差，凸显了对更通用化模型的需求。
• 在Celeb-DF上进行基准测试暴露了当前检测算法的局限性，尤其是在处理细微面部失真和高分辨率内容方面。
• Celeb-DF的发布使得未来DeepFake检测方法的评估更加可靠和真实。