[论文解读] ForgeryNet: A Versatile Benchmark for Comprehensive Forgery Analysis

Yinan He, Bei Gan+7 more|arXiv (Cornell University)|Mar 9, 2021

Digital Media Forensic Detection参考文献 57被引用 4

一句话总结

ForgeryNet 是一个大规模、多任务的基准数据集，包含 290 万张图像和 221,247 段视频，用于全面的面部伪造分析。它支持四项任务——图像/视频伪造分类、空间伪造定位和时间伪造定位——采用 15 种图像级和 8 种视频级伪造方法，以及 36 种重渲染扰动，能够在多样化的现实条件下对伪造检测模型进行稳健评估。

ABSTRACT

The rapid progress of photorealistic synthesis techniques has reached at a critical point where the boundary between real and manipulated images starts to blur. Thus, benchmarking and advancing digital forgery analysis have become a pressing issue. However, existing face forgery datasets either have limited diversity or only support coarse-grained analysis. To counter this emerging threat, we construct the ForgeryNet dataset, an extremely large face forgery dataset with unified annotations in image- and video-level data across four tasks: 1) Image Forgery Classification, including two-way (real / fake), three-way (real / fake with identity-replaced forgery approaches / fake with identity-remained forgery approaches), and n-way (real and 15 respective forgery approaches) classification. 2) Spatial Forgery Localization, which segments the manipulated area of fake images compared to their corresponding source real images. 3) Video Forgery Classification, which re-defines the video-level forgery classification with manipulated frames in random positions. This task is important because attackers in real world are free to manipulate any target frame. and 4) Temporal Forgery Localization, to localize the temporal segments which are manipulated. ForgeryNet is by far the largest publicly available deep face forgery dataset in terms of data-scale (2.9 million images, 221,247 videos), manipulations (7 image-level approaches, 8 video-level approaches), perturbations (36 independent and more mixed perturbations) and annotations (6.3 million classification labels, 2.9 million manipulated area annotations and 221,247 temporal forgery segment labels). We perform extensive benchmarking and studies of existing face forensics methods and obtain several valuable observations.

研究动机与目标

• 通过创建一个可扩展、多样化且逼真的基准，应对逼真面部伪造日益增长的威胁，以支持检测研究。
• 克服现有数据集的局限性，这些局限包括规模小、伪造方法多样性有限，以及缺乏逼真的扰动。
• 支持在图像级和视频级任务中对伪造检测模型进行综合评估，包括空间和时间定位。
• 支持二元分类和细粒度分类（例如，15 种伪造类型下的 n 类分类），以反映现实世界中的检测需求。
• 提供多层级的丰富标注——图像级、视频级和时间片段级——以支持端到端的伪造分析流程。

提出的方法

• 使用来自四个公共数据集的野生、多样化原始数据构建 ForgeryNet，这些数据集均采用知识共享许可，涵盖多样的身份、表情、光照和角度。
• 应用 15 种不同的基于深度学习的图像伪造方法（例如，人脸替换、重演、编辑）以及 8 种视频级方法，使用 GAN、RNN 和自编码器等模型。
• 应用 36 种独立且混合的重渲染扰动（例如，压缩、模糊、噪声），以模拟现实世界中的媒体传输和退化。
• 对数据进行标注，包含 630 万个分类标签、290 万个空间分割掩码（用于标记被篡改区域）以及 221,247 个时间伪造片段标签。
• 设计四项评估任务：(1) 二分类、三分类和 n 分类图像伪造分类；(2) 空间伪造定位；(3) 随机帧篡改的视频级伪造分类；(4) 时间伪造定位。
• 使用标准协议在数据集上训练和评估最先进模型（例如，SlowFast、X3D-M、BSN、BMN），采用交叉熵损失、端到端训练和多裁剪推理策略。

实验结果

研究问题

• RQ1 在现实世界伪造检测中，模型性能如何随不同级别的数据扰动和重渲染变化？
• RQ2 现有伪造检测模型在未见过的伪造方法和复杂混合扰动下的泛化能力如何？
• RQ3 当篡改分布不均匀时，模型在图像中定位被篡改区域以及在视频中定位时间片段方面的有效性如何？
• RQ4 时间连续性和帧顺序对基于视频的伪造分类有何影响？
• RQ5 所提出的基准能否揭示小规模、多样性不足的数据集无法暴露的当前模型的局限性？

主要发现

• ForgeryNet 是目前公开可用的最大规模深度面部伪造数据集，包含 290 万张图像和 221,247 段视频，支持 15 种图像级和 8 种视频级伪造方法。
• 该数据集包含 36 种不同的重渲染扰动，可模拟现实世界中的媒体退化，从而增加检测难度。
• 视频级伪造分类模型对时间顺序打乱具有鲁棒性，弱打乱（每 16 帧打乱一次）下的 AUC 得分为 94.11，表明其依赖非时间性线索。
• 图像级模型对数据增强的敏感性高于视频级模型，在强增强下准确率从 84.39%（弱增强）下降至 85.04%（增强）。
• 具备边界感知能力的时间定位模型（如 BMN）在识别真实与虚假片段之间的过渡点方面表现出高精度，SoftNMS 有效抑制了冗余预测。
• 该基准揭示了最先进模型在细粒度伪造类型分类以及对未见过的篡改技术和扰动泛化能力方面仍存在困难。