[论文解读] BiHPF: Bilateral High-Pass Filters for Robust Deepfake Detection

Yonghyun Jeong, Doyeon Kim+4 more|arXiv (Cornell University)|Aug 16, 2021

Generative Adversarial Networks and Image Synthesis被引用 7

一句话总结

本文提出BiHPF，一种新颖的双边高通滤波机制，通过增强生成对抗网络（GAN）图像中特有的频域伪影，提升深度伪造检测的跨域泛化能力。通过结合频域级与像素级高通滤波，BiHPF在未见的GAN模型、物体类别及色彩处理下均提升了检测鲁棒性，即使在领域分布发生变化时仍实现了最先进性能。

ABSTRACT

The advancement in numerous generative models has a two-fold effect: a simple and easy generation of realistic synthesized images, but also an increased risk of malicious abuse of those images. Thus, it is important to develop a generalized detector for synthesized images of any GAN model or object category, including those unseen during the training phase. However, the conventional methods heavily depend on the training settings, which cause a dramatic decline in performance when tested with unknown domains. To resolve the issue and obtain a generalized detection ability, we propose Bilateral High-Pass Filters (BiHPF), which amplify the effect of the frequency-level artifacts that are known to be found in the synthesized images of generative models. Numerous experimental results validate that our method outperforms other state-of-the-art methods, even when tested with unseen domains.

研究动机与目标

• 解决在多样化GAN模型、物体类别及色彩处理等未见领域中仍能表现良好的通用深度伪造检测的迫切需求。
• 克服现有方法在训练分布外数据上性能严重下降的局限性。
• 识别并利用合成图像中一致且可泛化的频域伪影，作为鲁棒检测的基础。
• 开发一种简单但高效的滤波机制，增强伪影可见性，而不依赖领域特定特征或复杂架构。
• 在人脸与非人脸图像检测中均实现最先进性能，同时保持强大的跨域泛化能力。

提出的方法

• 提出双边高通滤波（BiHPF），一种两级滤波机制：频域级高通滤波（HPF）用于突出高频伪影，像素级HPF采用拉普拉斯高斯（LoG）滤波器以凸显边缘与背景伪影。
• 通过对抗方式训练分类网络，生成伪影压缩图，用于识别并分离GAN生成图像中的频域伪影。
• 在应用BiHPF后，将图像的幅度谱作为分类器的输入，聚焦于伪影最显著的高频分量。
• 通过截止频率 $w_c$ 控制频域级HPF，通过LoG滤波器的方差 $\sigma^2$ 控制像素级HPF，经消融实验发现 $\sigma = 0.01$ 为最优值。
• 对RGB与灰度图像均应用BiHPF，以评估色彩信息对跨域性能的影响。
• 以ResNet-50作为主干网络进行训练与评估，性能指标为测试集与跨域集上的准确率（Acc.）与平均精度（A.P.）

实验结果

研究问题

• RQ1 GAN生成图像中的频域伪影是否可被一致利用以提升跨域深度伪造检测性能？
• RQ2 频域级与像素级高通滤波的结合如何增强在多样化GAN模型与图像类别上的检测鲁棒性？
• RQ3 输入图像中的色彩信息在多大程度上阻碍深度伪造检测器的泛化能力？
• RQ4 检测性能对超参数（如LoG滤波器方差 $\sigma$）的敏感程度如何？
• RQ5 通过低通滤波移除高频分量是否会导致检测性能显著下降，从而证实高频伪影的重要性？

主要发现

• 当输入为RGB图像时，BiHPF在测试类别上达到99.6%的准确率与99.5%的平均精度，表明其在域内性能极强。
• 在未见的跨类别数据上，BiHPF使用频域级幅度谱输入时，准确率达到68.2%，平均精度为68.1%，显著优于基线方法。
• LoG滤波器的最优超参数为 $\sigma = 0.01$，当 $\sigma$ 偏离此值时性能下降，尤其在跨域设置下更为明显。
• 若将频域级HPF替换为低通滤波，性能出现剧烈下降，证实高频分量对检测GAN伪影至关重要。
• 灰度图像输入相比RGB输入能提升跨域性能——准确率达到76.1%，平均精度为75.3%，表明色彩信息引入了领域特定偏差，降低了泛化能力。
• 频域级HPF对性能提升的贡献大于像素级HPF，凸显了在傅里叶域中强调高频伪影的重要性。