[论文解读] Detecting Deepfake by Creating Spatio-Temporal Regularity Disruption

Jiazhi Guan, Hang Zhou+4 more|arXiv (Cornell University)|Jul 21, 2022

Generative Adversarial Networks and Image Synthesis被引用 6

一句话总结

本文提出了一种新颖的深度伪造检测方法，通过生成合成的伪伪造视频来暴露真实视频中固有的时空规律性破坏，采用即插即用的伪伪造生成器和时空增强（STE）模块。该方法在 Deepwild 数据集上实现了 10.67% 的 AUC 提升，达到最先进性能，并且无需依赖真实伪造数据进行训练，展现出良好的泛化能力。

ABSTRACT

Despite encouraging progress in deepfake detection, generalization to unseen forgery types remains a significant challenge due to the limited forgery clues explored during training. In contrast, we notice a common phenomenon in deepfake: fake video creation inevitably disrupts the statistical regularity in original videos. Inspired by this observation, we propose to boost the generalization of deepfake detection by distinguishing the "regularity disruption" that does not appear in real videos. Specifically, by carefully examining the spatial and temporal properties, we propose to disrupt a real video through a Pseudo-fake Generator and create a wide range of pseudo-fake videos for training. Such practice allows us to achieve deepfake detection without using fake videos and improves the generalization ability in a simple and efficient manner. To jointly capture the spatial and temporal disruptions, we propose a Spatio-Temporal Enhancement block to learn the regularity disruption across space and time on our self-created videos. Through comprehensive experiments, our method exhibits excellent performance on several datasets.

研究动机与目标

• 通过识别潜在的统计规律性破坏而非可见伪影，解决深度伪造检测中的泛化差距。
• 开发一种数据增强策略，生成多样化且逼真的伪伪造视频，而无需使用真实伪造数据。
• 通过训练模拟真实规律性破坏的合成数据，提升模型对未见伪造类型鲁棒性。
• 通过新型时空增强（STE）模块联合建模空间与时间异常，实现更优的特征学习。

提出的方法

• 伪伪造生成器通过随机参数对图像施加光照、几何和频域编辑，生成具有时空规律性破坏的合成伪造视频。
• 通过混合后编辑的流水线实现空间破坏，模拟人脸替换与重拼接伪影，同时保持身份与运动一致性。
• 通过独立处理帧并使用随机参数，打破自然视频的连续性，实现时间破坏。
• 时空增强（STE）模块采用通道级时间卷积结合自注意力机制，联合建模时空异常。
• STE 模块插入 ResNet-34 主干网络的残差块之前，以在局部块级别增强特征学习。
• 该方法与现有检测模型兼容，可作为即插即用模块，显著提升不同架构下的性能。

实验结果

研究问题

• RQ1 能否通过模拟规律性破坏的合成伪伪造视频，在不使用真实伪造数据的情况下，提升深度伪造检测的泛化能力？
• RQ2 联合时空建模方法在捕捉由视频伪造引起的细微异常方面有多有效？
• RQ3 所提出的伪伪造生成器是否能在不同深度伪造检测模型与架构上实现泛化？
• RQ4 与标准时空基线相比，时空增强（STE）模块在多大程度上提升了检测性能？
• RQ5 通过规律性破坏引导，对人脸与背景区域的全局注意力是否能增强模型泛化能力？

主要发现

• 该方法在具有挑战性的 Deepwild 数据集上实现了 10.67% 的 AUC 提升，证明了强大的跨数据集泛化能力。
• 即使采用简单基线模型 Xception，当使用伪伪造数据训练时，也能达到最先进性能，模型复杂度降低至约 23.5M 参数。
• 所有测试模型——Xception、Swin Transformer 和 TSM-R34——在使用伪伪造数据训练后均表现出一致的性能提升，证实了其可迁移性。
• STE 模块将 FSh 和 CDF 数据集上的平均 AUC 从 88.00% 提升至 94.66%，优于 TSM-R34 和 SlowFast-R50 基线模型。
• 类激活图（CAM）可视化显示，使用伪伪造数据训练的模型更关注全局规律性模式，而非孤立的面部特征，从而增强鲁棒性。
• 消融实验表明，伪伪造生成器在光照、几何和频域三个维度采用多样化编辑方法，显著提升了检测性能。