[论文解读] Defending against GAN-based Deepfake Attacks via Transformation-aware Adversarial Faces

Chaofei Yang, Lei Ding+2 more|arXiv (Cornell University)|Jun 12, 2020

Adversarial Robustness in Machine Learning参考文献 26被引用 5

一句话总结

本文提出了一种针对基于 GAN 的 Deepfake 攻击的新型主动防御方法，通过生成对变换敏感的对抗性人脸，在训练过程中降低合成人脸的质量。通过整合可微分的随机图像变换和集成策略，该方法引入了视觉伪影并提高了可检测性，显著降低了在白盒、灰盒和黑盒设置下生成的虚假人脸的真实感和鲁棒性。

ABSTRACT

Deepfake represents a category of face-swapping attacks that leverage machine learning models such as autoencoders or generative adversarial networks. Although the concept of the face-swapping is not new, its recent technical advances make fake content (e.g., images, videos) more realistic and imperceptible to Humans. Various detection techniques for Deepfake attacks have been explored. These methods, however, are passive measures against Deepfakes as they are mitigation strategies after the high-quality fake content is generated. More importantly, we would like to think ahead of the attackers with robust defenses. This work aims to take an offensive measure to impede the generation of high-quality fake images or videos. Specifically, we propose to use novel transformation-aware adversarially perturbed faces as a defense against GAN-based Deepfake attacks. Different from the naive adversarial faces, our proposed approach leverages differentiable random image transformations during the generation. We also propose to use an ensemble-based approach to enhance the defense robustness against GAN-based Deepfake variants under the black-box setting. We show that training a Deepfake model with adversarial faces can lead to a significant degradation in the quality of synthesized faces. This degradation is twofold. On the one hand, the quality of the synthesized faces is reduced with more visual artifacts such that the synthesized faces are more obviously fake or less convincing to human observers. On the other hand, the synthesized faces can easily be detected based on various metrics.

研究动机与目标

• 开发一种主动防御机制，主动在 GAN 基于 Deepfake 模型生成高保真虚假内容之前，降低其质量。
• 通过阻止高保真虚假人脸的生成，解决被动检测方法的局限性。
• 通过基于集成的方法，增强在黑盒设置下对基于 GAN 的 Deepfake 变体的鲁棒性。
• 识别对合成人脸质量下降有贡献的关键损失组件——对抗损失和边缘损失。

提出的方法

• 使用预训练的 Deepfake 模型的判别器生成对抗性扰动的人脸，训练过程中引入可微分的随机图像变换以提升鲁棒性。
• 采用基于 PGD 的对抗性训练，结合多个扰动步骤（例如 PGD-01、PGD-005），在变换约束下优化扰动。
• 采用基于集成的防御策略，结合多种对抗性人脸生成方法，以提升在黑盒设置下的泛化能力。
• 在对抗性训练过程中，将随机图像变换（如旋转、缩放、裁剪）作为可微分操作集成，以模拟真实世界的数据增强。
• 利用通用伪造检测器（如 ManTra-Net）的指标（如 AIH（平均类内同质性）和 ATI（平均顶部强度））评估合成人脸的可检测性。
• 在对抗性扰动的人脸上训练 Deepfake 模型，并在多种分辨率和人脸对组合下，评估生成的合成人脸的视觉伪影和可检测性。

实验结果

研究问题

• RQ1 对变换敏感的对抗性人脸是否能在不同攻击设置下有效降低基于 GAN 的 Deepfake 生成人脸的质量？
• RQ2 在黑盒设置下，引入可微分的随机图像变换如何提升对抗性人脸防御的鲁棒性？
• RQ3 导致合成人脸质量下降的主要损失组件是什么？
• RQ4 所提出的防御方法在多大程度上能通过通用伪造检测模型（如 ManTra-Net）提升可检测性？
• RQ5 与单一对抗性训练策略相比，基于集成的方法是否能提升防御性能？

主要发现

• 在白盒设置下，PGD-01 方法在 8 个测试案例中的 5 个中取得了最高的 AIH 分数，表明其在降低合成人脸质量方面表现卓越。
• 在白盒设置下，与原始模型相比，PGD-01 方法平均使 ATI 分数提高了 28%，表明 ManTra-Net 的可检测性显著增强。
• 在黑盒设置下，基于集成的方法（Lite-Ens）在 8 个案例中的 5 个中取得了最高的 AIH，证实其对未知攻击模型具有鲁棒性。
• 对抗损失和边缘损失被确定为合成人脸质量下降的主要贡献因素，其值越高，伪影越明显。
• 该防御方法持续降低了合成人脸的真实感，使其在所有分辨率和人脸对组合下均更易被视觉察觉，并可通过多种指标更易识别。
• 即使在黑盒设置下，Lite-Ens 变体仍优于单方法基线，表明集成策略能有效提升泛化能力和鲁棒性。