[论文解读] MagDR: Mask-guided Detection and Reconstruction for Defending Deepfakes

Zhikai Chen, Lingxi Xie+3 more|arXiv (Cornell University)|Mar 26, 2021

Adversarial Robustness in Machine Learning参考文献 57被引用 4

一句话总结

MagDR 提出了一种基于掩码引导的检测与重建框架，通过感知准则（如 SSIM、PSNR）识别扰动，并利用自适应的面部区域掩码来引导检测与重建过程，从而在黑盒和白盒攻击下实现稳健防御。该方法在 FaceForensics++ 和 CelebA 数据集上展现出优异的可迁移性与最先进的抗干扰能力。

ABSTRACT

Deepfakes raised serious concerns on the authenticity of visual contents. Prior works revealed the possibility to disrupt deepfakes by adding adversarial perturbations to the source data, but we argue that the threat has not been eliminated yet. This paper presents MagDR, a mask-guided detection and reconstruction pipeline for defending deepfakes from adversarial attacks. MagDR starts with a detection module that defines a few criteria to judge the abnormality of the output of deepfakes, and then uses it to guide a learnable reconstruction procedure. Adaptive masks are extracted to capture the change in local facial regions. In experiments, MagDR defends three main tasks of deepfakes, and the learned reconstruction pipeline transfers across input data, showing promising performance in defending both black-box and white-box attacks.

研究动机与目标

• 应对深度伪造检测与生成系统持续面临的对抗性攻击威胁，即使在输入数据被扰动的情况下，系统仍可能受到攻击。
• 开发一种防御机制，用于检测并逆转基于图像到图像翻译的深度伪造（如人脸编辑、重演、替换）中的对抗性扰动。
• 通过可学习的、区域特定的掩码，实现在多样化攻击场景（包括黑盒与白盒设置）下的可迁移防御。
• 通过设计分层自适应优化流程，动态调整模块以基于感知准则提升重建保真度。

提出的方法

• 定义感知准则（如 SSIM、PSNR 等），用于检测由对抗性扰动引起的异常图像输出。
• 训练一种基于掩码引导的检测器，利用对应于面部区域（如眼睛、嘴巴）的自适应可学习掩码，以精确定位失真与不一致性。
• 设计一种可配置模块顺序与可调参数的分层重建流程，以抑制预设的感知准则。
• 执行自适应优化，迭代最小化定义的准则（如 SSIM、PSNR），以恢复原始的、未被扰动的深度伪造输出。
• 通过条件属性块与渐进式模块执行策略，提升纹理恢复效果并降低计算成本。
• 通过在多样化深度伪造模型与攻击类型上联合训练检测器与重建流程，利用可迁移性实现对未见攻击的泛化能力。

实验结果

研究问题

• RQ1 能否通过 SSIM、PSNR 等感知质量度量可靠检测应用于深度伪造生成模型的对抗性扰动？
• RQ2 自适应的、基于面部区域的掩码在检测深度伪造输出中对抗性污染时，能在多大程度上提升检测准确率？
• RQ3 由学习掩码引导的重建流程是否能有效逆转不同深度伪造生成方法（如 CycleGAN、StarGAN、GANimation）中的对抗性扰动？
• RQ4 所提出的防御机制在黑盒与白盒攻击设置下是否保持鲁棒性？其在不同数据集与模型上的泛化能力如何？
• RQ5 具有动态执行顺序的分层重建模块是否能显著降低计算成本，同时保持高质量的输出恢复？

主要发现

• MagDR 在深度伪造生成模型上成功防御了黑盒与白盒对抗性攻击，在 FaceForensics++ 与 CelebA 等数据集上展现出强大的可迁移性。
• 基于掩码引导的检测器通过检测面部区域中的局部失真与不一致性，对对抗性扰动表现出高敏感性，优于标准检测基线。
• 自适应重建流程将感知准则（如 SSIM、PSNR）降低至接近自然水平，即使在强对抗性污染后，也能有效恢复原始深度伪造输出。
• 分层渐进式模块设计显著降低了计算成本，同时保持了高质量的纹理恢复，尤其在面部细节区域表现突出。
• MagDR 在三种主要深度伪造任务（人脸编辑、面部重演、人脸替换）中均表现出一致性能，证实其广泛适用性。
• 该框架对当前最先进的对抗性攻击者与防御者均保持有效性，表明深度伪造中的对抗性扰动可通过共享的感知模式被检测到。