[论文解读] FakeLocator: Robust Localization of GAN-Based Face Manipulations

Yihao Huang, Felix Juefei-Xu+3 more|arXiv (Cornell University)|Jan 27, 2020

Digital Media Forensic Detection被引用 6

一句话总结

FakeLocator 提出了一种新颖且鲁棒的方法，通过利用上采样伪影，实现对 GAN 生成人脸篡改的高分辨率定位。该方法在多个数据集和 GAN 方法上均达到最先进性能，并对 JPEG 压缩、模糊等现实世界退化具有强鲁棒性。

ABSTRACT

Full face synthesis and partial face manipulation by virtue of the generative adversarial networks (GANs) and its variants have raised wide public concerns. In the multi-media forensics area, detecting and ultimately locating the image forgery has become an imperative task. In this work, we investigate the architecture of existing GAN-based face manipulation methods and observe that the imperfection of upsampling methods therewithin could be served as an important asset for GAN-synthesized fake image detection and forgery localization. Based on this basic observation, we have proposed a novel approach, termed FakeLocator, to obtain high localization accuracy, at full resolution, on manipulated facial images. To the best of our knowledge, this is the very first attempt to solve the GAN-based fake localization problem with a gray-scale fakeness map that preserves more information of fake regions. To improve the universality of FakeLocator across multifarious facial attributes, we introduce an attention mechanism to guide the training of the model. To improve the universality of FakeLocator across different DeepFake methods, we propose partial data augmentation and single sample clustering on the training images. Experimental results on popular FaceForensics++, DFFD datasets and seven different state-of-the-art GAN-based face generation methods have shown the effectiveness of our method. Compared with the baselines, our method performs better on various metrics. Moreover, the proposed method is robust against various real-world facial image degradations such as JPEG compression, low-resolution, noise, and blur.

研究动机与目标

• 为解决在 GAN 生成图像中精确定位虚假面部区域的迫切需求，超越二值检测。
• 克服现有方法因低分辨率输出或有损特征提取而导致的细微虚假区域细节丢失的局限性。
• 提升模型在多种面部属性（如发色、性别）及多种基于 GAN 的人脸篡改方法上的泛化能力。
• 确保对现实世界图像退化（如 JPEG 压缩、噪声、模糊和低分辨率缩放）的鲁棒性。

提出的方法

• 利用基于 GAN 的人脸生成模型中上采样层的固有缺陷，作为伪造定位的可检测指纹。
• 引入灰度伪造图作为输出，无需后处理即可保留虚假区域的高分辨率空间细节。
• 通过面部分割图引导的注意力机制，提升在多样化面部属性间的跨属性泛化能力。
• 在训练中应用部分数据增强和单样本聚类，以提升对不同 GAN 架构的跨方法泛化能力。
• 采用编码器-解码器架构并结合跳跃连接，以保持空间分辨率并重建细微的伪造模式。
• 使用真实图像与伪造图像之间的绝对差值计算真实标签伪造图，以监督训练。

实验结果

研究问题

• RQ1 能否可靠地利用基于 GAN 的人脸篡改模型中的上采样伪影实现高分辨率伪造定位？
• RQ2 如何使深度学习模型在保持高定位精度的同时，对不同面部属性（如发色、性别）的变化具有鲁棒性？
• RQ3 单一模型在不重新训练的情况下，能在多大程度上泛化至多种基于 GAN 的人脸生成方法？
• RQ4 所提出方法在 JPEG 压缩、模糊、噪声和低分辨率缩放等现实世界图像退化下的表现如何？

主要发现

• FakeLocator 在 FaceForensics++ 和 DFFD 数据集上均达到最先进性能，多项指标（包括 PSNR、SSIM 和 ACC）优于现有方法。
• 即使在严重图像退化下，模型仍保持高定位精度：PSNR 在 JPEG 压缩和噪声下保持稳定，SSIM 和 ACC 在极端条件下仅出现轻微下降。
• 打乱测试确认了模型的位置无关性，当伪造图像块被重新排列时性能仅轻微下降，表明模型学习的是基于纹理的模式而非空间线索。
• 由面部分割图引导的注意力机制显著提升了跨属性泛化能力，尤其在稀有或复杂属性（如‘光头’或‘胡须’）上表现突出。
• 部分数据增强与单样本聚类提升了跨方法鲁棒性，使模型能泛化至七种不同的 SOTA 基于 GAN 的人脸篡改方法。
• 灰度伪造图输出保留了细微细节，可实现对细微篡改（如发色或眼型变化）的精确定位。