[论文解读] Fake Face Detection via Adaptive Residuals Extraction Network

Zhiqing Guo, Gaobo Yang+2 more|arXiv (Cornell University)|May 11, 2020

Digital Media Forensic Detection参考文献 74被引用 11

一句话总结

本文提出了一种自适应残差提取网络（AREN），通过自适应卷积层抑制内容表征并增强细微篡改痕迹，从而提升虚假人脸检测性能。将该方法集成至 ARENnet 后，在已知人脸篡改技术上达到 98.52% 的平均准确率，在未知后处理操作下达到 95.17% 的准确率，优于当前最先进方法。

ABSTRACT

With the proliferation of face image manipulation (FIM) techniques such as Face2Face and Deepfake, more fake face images are spreading over the internet, which brings serious challenges to public confidence. Face image forgery detection has made considerable progresses in exposing specific FIM, but it is still in scarcity of a robust fake face detector to expose face image forgeries under complex scenarios. Due to the relatively fixed structure, convolutional neural network (CNN) tends to learn image content representations. However, CNN should learn subtle tampering artifacts for image forensics tasks. We propose an adaptive residuals extraction network (AREN), which serves as pre-processing to suppress image content and highlight tampering artifacts. AREN exploits an adaptive convolution layer to predict image residuals, which are reused in subsequent layers to maximize manipulation artifacts by updating weights during the back-propagation pass. A fake face detector, namely ARENnet, is constructed by integrating AREN with CNN. Experimental results prove that the proposed AREN achieves desirable pre-processing. When detecting fake face images generated by various FIM techniques, ARENnet achieves an average accuracy up to 98.52%, which outperforms the state-of-the-art works. When detecting face images with unknown post-processing operations, the detector also achieves an average accuracy of 95.17%.

研究动机与目标

• 解决由 Deepfake 和 Face2Face 等先进人脸图像篡改（FIM）技术生成的虚假人脸图像检测挑战。
• 克服标准 CNN 在学习内容表征而非细微篡改痕迹方面的局限性，以提升图像取证性能。
• 开发一种鲁棒的预处理模块，以在复杂、真实世界场景下应对未知后处理操作时提升检测性能。
• 通过自适应残差学习实现在已知与未知人脸篡改技术上的最先进性能。

提出的方法

• 提出一种自适应残差提取网络（AREN），利用自适应卷积层在训练过程中预测并优化图像残差。
• 在后续层中重用预测的残差，动态更新网络权重，以最大化篡改痕迹的放大效果。
• 将 AREN 作为预处理模块集成至基于 CNN 的检测器中，形成 ARENnet，以提升伪造检测的特征学习能力。
• 通过反向传播端到端训练网络，使自适应卷积层能够学习特定任务的残差模式。
• 利用卷积层的自适应特性，根据输入特征动态调整卷积核权重，增强对细微痕迹的敏感度。
• 设计网络架构以抑制稳定的图像内容，同时突出显示表明篡改的不一致或不自然区域。

实验结果

研究问题

• RQ1 自适应残差提取机制能否提升对虚假人脸图像中细微篡改痕迹的检测能力？
• RQ2 与现有最先进检测器相比，ARENnet 在已知人脸篡改技术上的表现如何？
• RQ3 所提出方法在未知后处理操作下的虚假人脸图像上具有多大程度的泛化能力？
• RQ4 自适应残差提取的集成是否能增强深度学习模型在复杂、真实世界伪造检测场景下的鲁棒性？

主要发现

• ARENnet 在由多种已知人脸图像篡改技术生成的虚假人脸图像上实现了 98.52% 的平均检测准确率。
• 所提方法保持了强大的泛化能力，在未知后处理操作的虚假人脸图像上实现了 95.17% 的平均准确率。
• 自适应卷积层在训练过程中有效抑制了内容表征，并增强了对篡改痕迹的敏感度。
• ARENnet 在已知与未知篡改场景下均优于现有最先进方法，展现出卓越的鲁棒性。
• AREN 的预处理角色显著提升了下游基于 CNN 的检测器的特征学习能力。
• 消融实验确认，自适应残差学习对最终检测性能有显著贡献。