[论文解读] Countering Malicious DeepFakes: Survey, Battleground, and Horizon

Felix Juefei-Xu, Run Wang+4 more|arXiv (Cornell University)|Feb 27, 2021

Generative Adversarial Networks and Image Synthesis被引用 5

一句话总结

本文全面综述了深度伪造生成、检测与逃避技术，分析了生成器与检测器之间的对抗性'战场'。它综合了318篇以上研究论文，提供了方法分类、交互式可视化，并揭示了由自监督学习和视觉变换器驱动的未来趋势。

ABSTRACT

The creation or manipulation of facial appearance through deep generative approaches, known as DeepFake, have achieved significant progress and promoted a wide range of benign and malicious applications, e.g., visual effect assistance in movie and misinformation generation by faking famous persons. The evil side of this new technique poses another popular study, i.e., DeepFake detection aiming to identify the fake faces from the real ones. With the rapid development of the DeepFake-related studies in the community, both sides have formed the relationship of battleground, pushing the improvements of each other and inspiring new directions, e.g., the evasion of DeepFake detection. Nevertheless, the overview of such battleground and the new direction is unclear and neglected by recent surveys due to the rapid increase of related publications, limiting the in-depth understanding of the tendency and future works. To fill this gap, in this paper, we provide a comprehensive overview and detailed analysis of the research work on the topic of DeepFake generation, DeepFake detection as well as evasion of DeepFake detection, with more than 318 research papers carefully surveyed. We present the taxonomy of various DeepFake generation methods and the categorization of various DeepFake detection methods, and more importantly, we showcase the battleground between the two parties with detailed interactions between the adversaries (DeepFake generation) and the defenders (DeepFake detection). The battleground allows fresh perspective into the latest landscape of the DeepFake research and can provide valuable analysis towards the research challenges and opportunities as well as research trends and future directions. We also elaborately design interactive diagrams (http://www.xujuefei.com/dfsurvey) to allow researchers to explore their own interests on popular DeepFake generators or detectors.

研究动机与目标

• 提供深度伪造研究的全面、最新概述，涵盖生成、检测与逃避技术。
• 描绘深度伪造生成器与检测器之间不断演变的对抗关系，突出二者之间的动态'战场'。
• 识别该领域中的关键研究挑战、机遇及新兴趋势，特别是鉴于生成式人工智能的快速发展。
• 为研究人员和从业者提供一个精选的、交互式的资源，通过专门网站展示流行生成器与检测器的可视化效果。
• 探索深度伪造研究的未来，包括自监督学习和视觉变换器在塑造下一代模型中的作用。

提出的方法

• 对318篇以上关于深度伪造生成、检测与逃避技术的研究论文进行系统性综述。
• 将深度伪造生成方法划分为四种类别：完整人脸合成、属性操控、身份互换与表情互换。
• 根据技术方法对深度伪造检测方法进行分类，包括手工特征、深度学习及混合模型。
• 分析生成器与检测器之间的对抗性动态，说明一方的改进如何推动另一方的创新。
• 推出一个交互式网络平台（http://www.xujuefei.com/dfsurvey），用于可视化和探索流行的深度伪造生成器与检测器。
• 探讨新兴趋势，如GAN指纹识别、不可见水印技术，以及自监督学习与视觉变换器在未来的系统集成。

实验结果

研究问题

• RQ1 深度伪造生成方法的关键类别和技术演进路径是什么？
• RQ2 深度伪造检测技术如何演变？当前研究中的主流方法有哪些？
• RQ3 深度伪造生成器与检测器之间的关键对抗性互动是什么？它们如何塑造研究格局？
• RQ4 在自监督学习与视觉变换器的背景下，深度伪造检测的新兴趋势和未来研究方向是什么？
• RQ5 如何将负责任的AI实践（如水印技术与模型指纹识别）整合到深度伪造缓解策略中？

主要发现

• 深度伪造生成器与检测器之间的对抗关系形成了一个持续推动双方创新的动态'战场'。
• 检测器最常针对的深度伪造模态是身份互换，其次是完整人脸合成，而表情互换则最少被针对。
• 自监督学习与视觉变换器（ViT）正成为关键技术，极有可能重新定义未来的深度伪造生成与检测系统。
• 视觉变换器（如ViT、TransGAN、Paint Transformer）在图像生成方面展现出最先进性能，预示着深度伪造生态系统中将向ViT架构转变。
• GAN指纹识别与不可见水印技术为合成媒体的负责任披露与可追溯性提供了有前景的路径。
• 本文预测可能出现'深度伪造奇点'——即未来合成人脸与真实人脸无法区分——凸显了主动研究与缓解策略的紧迫性。