[论文解读] Fake face detection via adaptive manipulation traces extraction network

Zhiqing Guo, Gaobo Yang+2 more|arXiv (Cornell University)|May 11, 2020

Digital Media Forensic Detection参考文献 56被引用 7

一句话总结

该论文提出AMTEN，一种新颖的自适应操作痕迹提取网络，通过自适应卷积动态识别并增强细微的操作痕迹，从而提升假脸检测性能。AMTEN集成于基于CNN的检测器（AMTENnet）中，在已知FIM技术上实现98.52%的平均准确率，在未见后处理操作上达到95.17%，显著优于当前最先进方法。

ABSTRACT

With the proliferation of face image manipulation (FIM) techniques such as Face2Face and Deepfake, more fake face images are spreading over the internet, which brings serious challenges to public confidence. Face image forgery detection has made considerable progresses in exposing specific FIM, but it is still in scarcity of a robust fake face detector to expose face image forgeries under complex scenarios such as with further compression, blurring, scaling, etc. Due to the relatively fixed structure, convolutional neural network (CNN) tends to learn image content representations. However, CNN should learn subtle manipulation traces for image forensics tasks. Thus, we propose an adaptive manipulation traces extraction network (AMTEN), which serves as pre-processing to suppress image content and highlight manipulation traces. AMTEN exploits an adaptive convolution layer to predict manipulation traces in the image, which are reused in subsequent layers to maximize manipulation artifacts by updating weights during the back-propagation pass. A fake face detector, namely AMTENnet, is constructed by integrating AMTEN with CNN. Experimental results prove that the proposed AMTEN achieves desirable pre-processing. When detecting fake face images generated by various FIM techniques, AMTENnet achieves an average accuracy up to 98.52%, which outperforms the state-of-the-art works. When detecting face images with unknown post-processing operations, the detector also achieves an average accuracy of 95.17%.

研究动机与目标

• 解决由Deepfake和Face2Face等先进方法生成的逼真假脸图像检测挑战。
• 克服标准CNN在图像取证中更注重内容表征而非细微操作痕迹的局限性。
• 开发一种鲁棒的假脸检测器，能够泛化至未知的后处理操作，如JPEG压缩、模糊化和缩放。
• 在现实世界条件下提升检测性能，其中图像在社交媒体传播前常被修改。

提出的方法

• 在AMTEN中提出一种自适应卷积层，可预测操作痕迹并在反向传播中更新权重，以最大化痕迹检测效果。
• 将AMTEN作为标准CNN之前的预处理模块，抑制内容表征并突出取证痕迹。
• 在混合数据集（包含多种后处理操作，如JP-mix、ME-mix）上训练AMTENnet，以增强泛化能力。
• 通过在JPEG压缩、高斯模糊和中值滤波等操作中混合参数进行数据增强，模拟现实世界中的图像退化。
• 通过比较原始图像与处理后图像，利用残差学习突出操作引入的不一致性。
• 对AMTENnet进行端到端训练，联合优化操作痕迹提取与分类。

实验结果

研究问题

• RQ1 基于自适应卷积的模块能否有效提取标准CNN无法察觉的细微操作痕迹？
• RQ2 AMTENnet在检测由多种FIM技术（如StyleGAN、Glow和Face2Face）生成的假脸图像时表现如何？
• RQ3 在混合后处理操作上进行训练，能在多大程度上提升检测器对未知图像操作的鲁棒性？
• RQ4 在真实场景中，AMTENnet对未见过的后处理操作（如GB-mix、MED-mix和SC-mix）是否具备良好的泛化能力？

主要发现

• AMTENnet在五种常见FIM技术（Glow、StyleGAN、PGGAN、Face2Face、StarGAN）上实现98.52%的平均检测准确率，显著优于MISLnet。
• 在未见后处理操作上测试时，AMTENnet保持95.17%的平均准确率，展现出强大的泛化能力。
• 在混合数据（如JP-mix、ME-mix）上进行训练可提升检测性能，平均准确率在大规模混合数据集上提升至91.66%。
• 在混合数据上训练的检测器能有效泛化至其他操作，如GB-mix（大规模数据集上准确率达96.06%）和SC-mix（大规模数据集上准确率达95.34%）。
• AMTEN在残差提取方面优于基线方法（如Constrained-conv和SRM），相比MISLnet平均准确率提升7.61%。
• 自适应卷积机制通过在反向传播中复用预测痕迹，成功放大操作痕迹。