[论文解读] Exploring Frequency Adversarial Attacks for Face Forgery Detection

Shuai Jia, Chao Ma+4 more|arXiv (Cornell University)|Mar 29, 2022

Digital Media Forensic Detection被引用 5

一句话总结

本文提出一种用于人脸伪造检测的频率对抗攻击方法，通过离散余弦变换（DCT）在频域中注入难以察觉的扰动，显著提升了图像质量和迁移能力。通过采用受元学习启发的策略，结合空间域与频域攻击，该方法在Res50上实现了高达65.4%的攻击成功率，同时保持了出色的视觉保真度。

ABSTRACT

Various facial manipulation techniques have drawn serious public concerns in morality, security, and privacy. Although existing face forgery classifiers achieve promising performance on detecting fake images, these methods are vulnerable to adversarial examples with injected imperceptible perturbations on the pixels. Meanwhile, many face forgery detectors always utilize the frequency diversity between real and fake faces as a crucial clue. In this paper, instead of injecting adversarial perturbations into the spatial domain, we propose a frequency adversarial attack method against face forgery detectors. Concretely, we apply discrete cosine transform (DCT) on the input images and introduce a fusion module to capture the salient region of adversary in the frequency domain. Compared with existing adversarial attacks (e.g. FGSM, PGD) in the spatial domain, our method is more imperceptible to human observers and does not degrade the visual quality of the original images. Moreover, inspired by the idea of meta-learning, we also propose a hybrid adversarial attack that performs attacks in both the spatial and frequency domains. Extensive experiments indicate that the proposed method fools not only the spatial-based detectors but also the state-of-the-art frequency-based detectors effectively. In addition, the proposed frequency attack enhances the transferability across face forgery detectors as black-box attacks.

研究动机与目标

• 解决人脸伪造检测器对空间域中可见扰动的对抗样本的脆弱性。
• 探索频域对抗攻击的潜力，以生成更难以察觉的扰动，同时保持图像质量。
• 提升对抗攻击在多种人脸伪造检测器（包括基于空间和基于频域的模型）之间的迁移能力。
• 开发一种结合空间域与频域扰动的混合攻击策略，以充分利用两个域的优势。
• 通过引入更自然、更难检测的对抗样本形式，改进人脸伪造检测器的鲁棒性评估。

提出的方法

• 应用离散余弦变换（DCT）将输入图像从空间域转换到频域。
• 引入融合模块，利用对抗损失选择性地修改不同频带中的能量，聚焦于显著区域。
• 通过间接方式在频域中注入对抗扰动，避免传统空间攻击中常见的冗余噪声。
• 使用逆向DCT将扰动后的频域表示映射回空间域，生成最终的对抗样本。
• 设计一种混合对抗攻击，采用受元学习启发的优化策略，交替优化空间域与频域中的扰动。
• 以兼容方式结合空间域与频域扰动，以增强攻击性能与迁移能力。

实验结果

研究问题

• RQ1 与传统的空间域攻击相比，频域中的对抗攻击是否能生成更难以察觉的扰动？
• RQ2 与空间攻击相比，该频率对抗攻击在最先进的基于频域的人脸伪造检测器上的表现如何？
• RQ3 在黑箱设置下，结合空间与频域攻击是否能提升迁移能力？
• RQ4 哪些频带（低频、中频、高频）对对抗攻击最有效，原因是什么？
• RQ5 所提出的混合攻击在实现高攻击成功率的同时，能在多大程度上保持图像质量？

主要发现

• 所提出的频率对抗攻击在FaceForensics++数据集上实现了42.7的PSNR和0.1763的SSIM，显著优于FGSM（23.3 PSNR，0.0881 SSIM）与PGD（30.4 PSNR，0.1343 SSIM）的图像质量指标。
• 在白箱设置下，混合对抗攻击在Res50检测器上实现了65.4%的攻击成功率，超过仅使用空间域的攻击（60.2%）与仅使用频域的攻击（29.3%）。
• 在黑箱设置下，混合攻击在Xcep上实现了49.6%的成功率，在Eff_b4上实现了41.4%的成功率，表现出在多种检测器间强大的迁移能力。
• 攻击低频带可获得最高性能（在Xcep上达49.1%），因为低频带承载更多结构信息，能生成更有效的扰动。
• 简单叠加空间与频域扰动会削弱迁移能力，而受元学习启发的混合方法则保持了高性能与良好的泛化能力。
• 视觉分析表明，该方法生成的对抗样本比FGSM与PGD生成的样本更自然、更少噪声，感知退化极小。