[论文解读] Using GANs to Synthesise Minimum Training Data for Deepfake Generation

Simranjeet Singh, Rajneesh Sharma+1 more|arXiv (Cornell University)|Nov 10, 2020

Generative Adversarial Networks and Image Synthesis参考文献 11被引用 5

一句话总结

本文提出使用StyleGAN2从大规模数据集中合成1,000张多样化、高质量的某位人物（约翰·奥利弗）的面部图像，仅需极少的真实训练数据即可生成近乎真实的深度伪造视频。尽管仅使用合成图像，生成的深度伪造视频仍展现出极高的感知质量与面部多样性，证明了生成对抗网络（GAN）生成的数据可有效替代大规模真实数据集用于深度伪造生成。

ABSTRACT

There are many applications of Generative Adversarial Networks (GANs) in fields like computer vision, natural language processing, speech synthesis, and more. Undoubtedly the most notable results have been in the area of image synthesis and in particular in the generation of deepfake videos. While deepfakes have received much negative media coverage, they can be a useful technology in applications like entertainment, customer relations, or even assistive care. One problem with generating deepfakes is the requirement for a lot of image training data of the subject which is not an issue if the subject is a celebrity for whom many images already exist. If there are only a small number of training images then the quality of the deepfake will be poor. Some media reports have indicated that a good deepfake can be produced with as few as 500 images but in practice, quality deepfakes require many thousands of images, one of the reasons why deepfakes of celebrities and politicians have become so popular. In this study, we exploit the property of a GAN to produce images of an individual with variable facial expressions which we then use to generate a deepfake. We observe that with such variability in facial expressions of synthetic GAN-generated training images and a reduced quantity of them, we can produce a near-realistic deepfake videos.

研究动机与目标

• 解决在真实面部图像数据有限的情况下，为非名人个体生成高质量深度伪造视频的挑战。
• 探究由GAN生成的合成面部图像是否可作为深度伪造模型的有效训练数据。
• 评估合成训练数据中面部表情多样性与图像质量对深度伪造真实感的影响。
• 证明仅使用少量多样化、GAN生成的图像即可生成几乎无法与真实视频区分的深度伪造视频。
• 提供一种无需数以千计真实面部图像即可为普通个体创建深度伪造视频的方法。

提出的方法

• 在YouTube中提取的132,000帧约翰·奥利弗的视频帧上训练StyleGAN2模型，以生成合成面部图像。
• 生成一个包含1,000张合成面部图像的数据集，其面部表情和姿态具有高度多样性。
• 使用OpenFace（平均分0.401，方差0.068）和face_recognition库评估图像质量和面部多样性。
• 计算Inception分数为1.628，以评估GAN生成图像的质量与多样性。
• 使用聊天机器人（ChatterBot）生成对话内容，并录制真实视频，记录受试者表演这些对话。
• 应用DeepFaceLab框架，将受试者的面部在256×256分辨率的视频帧中与GAN生成的约翰·奥利弗面部图像进行替换。

实验结果

研究问题

• RQ1 能否通过包含高表情多样性的1,000张GAN生成图像数据集，生成高质量的深度伪造视频？
• RQ2 在深度伪造训练背景下，GAN生成图像的面部多样性与真实图像相比如何？
• RQ3 预训练GAN生成的合成图像在多大程度上可替代大规模真实数据集用于深度伪造生成？
• RQ4 仅使用合成训练图像生成的深度伪造视频的感知质量如何？与基于真实数据的深度伪造相比有何差异？
• RQ5 当仅使用合成数据进行训练时，深度伪造输出是否能在帧间保持视觉一致性？

主要发现

• GAN生成的1,000张图像数据集表现出高度的面部多样性，OpenFace报告的平均相似度得分为0.401，方差为0.068，表明身份保持一致且表情多样。
• 生成图像的Inception分数为1.628，表明其具备合理的多样性与质量，支持其作为训练数据的有效性。
• 仅使用合成图像生成的深度伪造视频达到了近乎真实的质量，面部替换在帧间自然且一致。
• 尽管帧间存在轻微的色彩不一致，但该视频已公开发布并被认定具有视觉可信度，证明了合成数据在深度伪造训练中的可行性。
• 该方法成功利用仅1,000张合成图像为非名人受试者生成了深度伪造视频，无需依赖大规模真实数据集。
• 结果表明，基于GAN的数据合成可显著降低深度伪造生成的数据需求，同时保持高质量输出。