[论文解读] DeepFake MNIST+: A DeepFake Facial Animation Dataset

Jiajun Huang, Wang Xue-yu+3 more|arXiv (Cornell University)|Aug 18, 2021

Digital Media Forensic Detection参考文献 30被引用 5

一句话总结

本文提出了 DeepFake MNIST+，一个大规模的人脸动画数据集，包含通过最先进图像动画模型生成的 10,000 个高保真度虚假视频，每个视频展示十种不同的人脸动作中的一种。该数据集旨在揭示现有活体检测系统中的漏洞，并评估基于 ResNet50 的基线检测器，结果表明：在动画数据上进行训练的模型在未见动作上泛化能力更强，且在压缩条件下更具鲁棒性，尤其在头部倾斜等复杂动作中表现更优。

ABSTRACT

The DeepFakes, which are the facial manipulation techniques, is the emerging threat to digital society. Various DeepFake detection methods and datasets are proposed for detecting such data, especially for face-swapping. However, recent researches less consider facial animation, which is also important in the DeepFake attack side. It tries to animate a face image with actions provided by a driving video, which also leads to a concern about the security of recent payment systems that reply on liveness detection to authenticate real users via recognising a sequence of user facial actions. However, our experiments show that the existed datasets are not sufficient to develop reliable detection methods. While the current liveness detector cannot defend such videos as the attack. As a response, we propose a new human face animation dataset, called DeepFake MNIST+, generated by a SOTA image animation generator. It includes 10,000 facial animation videos in ten different actions, which can spoof the recent liveness detectors. A baseline detection method and a comprehensive analysis of the method is also included in this paper. In addition, we analyze the proposed dataset's properties and reveal the difficulty and importance of detecting animation datasets under different types of motion and compression quality.

研究动机与目标

• 为解决当前在 DeepFake 检测中缺乏聚焦于人脸动画的数据集，特别是针对活体欺骗攻击的问题。
• 开发一个基准数据集，捕捉能够绕过商用活体检测器的逼真、高保真度人脸动画。
• 评估在动画特定数据上训练的检测模型在不同动作类型和视频压缩级别下的泛化能力。
• 建立一个强基准检测方法，并分析其在不同条件（如视频质量与动作复杂度）下的性能表现。
• 揭示现有基于身份互换数据集训练的 DeepFake 检测模型在应用于人脸动画攻击时的局限性。

提出的方法

• 使用最先进的图像动画模型，将驱动视频中的动作转移到源人脸图像上，生成逼真的人脸动画视频。
• 数据集包含 10,000 个虚假动画视频，涵盖十种不同的人脸动作（如微笑、眨眼、头部左右摆动、头部倾斜），以及 10,000 个真实人脸视频，用于监督训练。
• 训练一个基于 ResNet50 的二分类器作为基线检测模型，用于区分真实与虚假视频，并在不同视频质量（原始、中等、重度压缩）下进行评估。
• 使用类激活映射（CAM）可视化模型的注意力区域，识别分类器在检测决策中依赖的面部区域（如嘴部、颈部、侧脸）。
• 通过测量在不同动作和压缩级别下的检测准确率来评估性能，并对训练数据组成进行消融研究。
• 对动作类型（如大范围运动与小范围运动）和视频质量对检测性能的影响进行综合分析。

实验结果

研究问题

• RQ1 在身份互换数据集上训练的现有 DeepFake 检测模型能否有效检测基于人脸动画的欺骗攻击？
• RQ2 视频压缩质量如何影响不同动作下人脸动画视频的可检测性？
• RQ3 哪些人脸动作对检测模型最具挑战性？它们是否有助于提升对未见动作的泛化能力？
• RQ4 在难以检测的动作上训练的模型是否比在易检测动作（如眨眼或微笑）上训练的模型泛化能力更强？
• RQ5 检测模型学习了哪些视觉特征来区分虚假动画与真实视频？这些特征是否集中于伪造区域？

主要发现

• 当前公开使用的最先进活体检测器无法检测 DeepFake MNIST+ 中的虚假动画视频，暴露出当前系统中的关键漏洞。
• 在重度压缩下检测准确率显著下降，其中尴尬动作的性能最低（87.5%），相比原始质量下降了 7%。
• 具有大范围运动的动作（如左右倾斜）最难检测（原始质量下准确率为 92.3%，重度压缩下为 88.24%），但在此类动作上训练可提升对未见动作的泛化能力。
• 较易检测的动作（如微笑和眨眼）在原始视频中达到 100% 准确率，且在压缩下仍保持在 97% 以上，但仅在这些动作上训练的模型对更复杂动作的泛化能力较差。
• CAM 可视化结果证实，模型聚焦于伪造区域（如嘴部、颈部、侧脸），表明其学习到了语义相关的检测线索。
• 在包含复杂运动的多样化动作上进行训练，可显著提升对不同类型 DeepFake 攻击的鲁棒性与泛化能力。