[论文解读] KoDF: A Large-scale Korean DeepFake Detection Dataset

Patrick Kwon, Jaeseong You+3 more|arXiv (Cornell University)|Mar 18, 2021

Face recognition and analysis参考文献 38被引用 8

一句话总结

KoDF 是一个大规模、分布受控的韩语深度伪造检测数据集，包含来自 403 名韩国受试者的 62,166 段真实视频和 175,776 段伪造视频，采用六种合成方法并模拟对抗性攻击。结果表明，将 KoDF 与现有数据集（如 FF++ 和 DFDC）结合可显著提升检测模型的泛化能力，优于仅使用单一数据集训练的模型。

ABSTRACT

A variety of effective face-swap and face-reenactment methods have been publicized in recent years, democratizing the face synthesis technology to a great extent. Videos generated as such have come to be called deepfakes with a negative connotation, for various social problems they have caused. Facing the emerging threat of deepfakes, we have built the Korean DeepFake Detection Dataset (KoDF), a large-scale collection of synthesized and real videos focused on Korean subjects. In this paper, we provide a detailed description of methods used to construct the dataset, experimentally show the discrepancy between the distributions of KoDF and existing deepfake detection datasets, and underline the importance of using multiple datasets for real-world generalization. KoDF is publicly available at https://moneybrain-research.github.io/kodf in its entirety (i.e. real clips, synthesized clips, clips with adversarial attack, and metadata).

研究动机与目标

• 解决现有深度伪造检测数据集中亚洲受试者代表性不足的问题。
• 为韩国受试者创建一个大规模、高质量的深度伪造数据集，实现人口统计学和内容分布的受控。
• 通过引入多样化的合成方法和对抗性攻击模拟，提升模型的鲁棒性。
• 证明结合多个数据集对于实现真实世界泛化至关重要。
• 提供一个公开可用的基准，以支持未来深度伪造检测研究。

提出的方法

• 通过知情同意书收集 100 名付费韩国演员的真实视频，确保数据来源的伦理合规性。
• 使用六种不同的深度伪造生成模型合成 175,776 段伪造视频，以确保方法多样性。
• 通过控制年龄、性别和内容类型的人口统计分布，提升数据集的平衡性与代表性。
• 引入对抗性攻击样本，以测试模型在输入扰动下的鲁棒性。
• 使用 MTCNN 对所有视频剪辑进行预处理，提取面部帧，确保训练和评估输入的一致性。
• 在组合数据集（FF++、DFDC、KoDF）上训练并评估深度伪造检测模型，以评估泛化性能。

实验结果

研究问题

• RQ1 大规模、分布受控的深度伪造数据集是否能提升模型在多样化真实世界深度伪造场景下的泛化能力？
• RQ2 在 KoDF 上训练的深度伪造检测模型性能与在现有数据集（如 FF++ 和 DFDC）上训练的模型相比如何？
• RQ3 结合多个深度伪造数据集在域外测试集上的检测鲁棒性提升程度如何？
• RQ4 KoDF 的受控人口统计学与内容分布是否能带来比无控制数据集更好的模型泛化能力？
• RQ5 KoDF 中的对抗性样本是否能有效评估模型在真实部署中对扰动的抗性？

主要发现

• 仅在单一数据集（包括 KoDF）上训练的模型在域外测试集上泛化能力较差，表明存在分布差异。
• 将 KoDF 与 FF++ 和 DFDC 结合可显著提升在未见数据集（包括 KoDF 的对抗性样本）上的检测性能。
• 在三个数据集（FF++、DFDC、KoDF）上联合训练的模型在所有测试集上均达到最高准确率，证明了 KoDF 的互补价值。
• 与无控制数据集（如 DF-1.0 和 FF++）相比，KoDF 的年龄、性别和内容分布受控，使训练数据更具鲁棒性和多样性。
• KoDF 中包含对抗性攻击样本表明，未包含此类数据训练的模型对针对性扰动易受攻击，凸显了对抗性数据在训练中的重要性。
• 本研究证实，由于方法特异性伪影的存在，深度伪造检测极易出现过拟合，因此必须通过多数据集训练才能实现真实世界泛化。