[论文解读] FakePolisher: Making DeepFakes More Detection-Evasive by Shallow Reconstruction

Yihao Huang, Felix Juefei-Xu+8 more|arXiv (Cornell University)|Jun 13, 2020

Generative Adversarial Networks and Image Synthesis参考文献 53被引用 6

一句话总结

FakePolisher 是一种后处理技术，通过使用学习到的线性字典进行浅层重建，减少深度伪造中的可检测伪影，显著降低最先进检测方法的性能——平均导致 47% 的准确率下降，最坏情况下高达 93%，且无需了解原始 GAN 架构即可去除 GAN 引入的上采样伪影。

ABSTRACT

At this moment, GAN-based image generation methods are still imperfect, whose upsampling design has limitations in leaving some certain artifact patterns in the synthesized image. Such artifact patterns can be easily exploited (by recent methods) for difference detection of real and GAN-synthesized images. However, the existing detection methods put much emphasis on the artifact patterns, which can become futile if such artifact patterns were reduced. Towards reducing the artifacts in the synthesized images, in this paper, we devise a simple yet powerful approach termed FakePolisher that performs shallow reconstruction of fake images through a learned linear dictionary, intending to effectively and efficiently reduce the artifacts introduced during image synthesis. The comprehensive evaluation on 3 state-of-the-art DeepFake detection methods and fake images generated by 16 popular GAN-based fake image generation techniques, demonstrates the effectiveness of our technique.Overall, through reducing artifact patterns, our technique significantly reduces the accuracy of the 3 state-of-the-art fake image detection methods, i.e., 47% on average and up to 93% in the worst case.

研究动机与目标

• 为解决当前深度伪造检测方法的脆弱性，这些方法严重依赖于检测基于 GAN 的图像合成所产生的伪影，尤其是由上采样操作引入的伪影。
• 开发一种轻量级的后处理方法，可在不访问原始 GAN 模型或训练数据的情况下，减少这些可检测伪影。
• 评估在多种基于 GAN 的虚假图像生成技术及检测模型上，伪影减少在规避检测方面的有效性。
• 证明当前检测方法受限于对特定 GAN 伪影的依赖，呼吁发展更具通用性的检测方法。

提出的方法

• 在真实图像上训练线性字典模型，以捕捉自然图像的模式，使用 K-SVD 或 PCA 进行字典学习。
• 通过线性投影或稀疏编码，将深度伪造图像投影到学习到的低维子空间中，获得紧凑表示。
• 通过从低秩表示中合成图像，重建出‘无虚假’版本的深度伪造图像，从而有效去除伪影模式。
• 将该重建方法作为后处理步骤应用于 16 种不同 GAN 架构生成的虚假图像，且不修改原始生成过程。
• 同时使用 PCA 和 K-SVD 进行重建，以比较不同线性重建技术在性能和鲁棒性方面的差异。
• 在多个数据集上，使用三种最先进检测模型评估重建图像的性能，涵盖完整重建和部分重建场景。

实验结果

研究问题

• RQ1 使用学习字典的浅层重建是否能有效减少 GAN 生成的虚假图像中的可检测伪影？
• RQ2 该方法在多大程度上能降低最先进深度伪造检测模型的性能？
• RQ3 部分重建（针对局部修改图像）是否在保持图像保真度的同时，比完整重建更有效地规避检测？
• RQ4 不同重建技术（PCA 与 K-SVD）在伪影去除和检测规避方面表现如何比较？
• RQ5 当前检测方法在多大程度上依赖于 GAN 特定伪影？其泛化能力能否得到提升？

主要发现

• FakePolisher 平均使三种最先进深度伪造检测器的检测准确率下降 47%，最坏情况下下降高达 93%。
• 该方法有效去除了可见伪影和频域伪影，如棋盘状图案和频域中的亮斑，经视觉分析和频谱分析确认。
• 部分重建在保持与原始虚假图像相似性方面优于完整重建，PSNR、SSIM 和 COSS 评分更高。
• 重建图像保持了高视觉保真度，COSS 评分超过 0.999，PSNR 值在 PCA 下超过 35，在 K-SVD 下超过 38。
• 准确率下降在多种 GAN 架构（包括 StyleGAN、ProGAN、CycleGAN 和 StarGAN）中保持一致，表明其具有广泛适用性。
• 结果表明，当前检测方法对 GAN 特定伪影高度敏感，暴露出其泛化能力和鲁棒性的关键局限。