[论文解读] Zooming into Face Forensics: A Pixel-level Analysis

Jia Li, Tong Shen+4 more|arXiv (Cornell University)|Dec 12, 2019

Face recognition and analysis参考文献 47被引用 8

一句话总结

本文提出了一种像素级分割方法用于人脸伪造检测，将任务从分类重新定义为对篡改区域的定位。通过在FaceForensics++数据集上评估分割架构，结果表明分割模型在检测伪造人脸方面显著优于分类网络，建立了在多种篡改方法下均达到最先进mIoU分数的新强基线。

ABSTRACT

The stunning progress in face manipulation methods has made it possible to synthesize realistic fake face images, which poses potential threats to our society. It is urgent to have face forensics techniques to distinguish those tampered images. A large scale dataset "FaceForensics++" has provided enormous training data generated from prominent face manipulation methods to facilitate anti-fake research. However, previous works focus more on casting it as a classification problem by only considering a global prediction. Through investigation to the problem, we find that training a classification network often fails to capture high quality features, which might lead to sub-optimal solutions. In this paper, we zoom in on the problem by conducting a pixel-level analysis, i.e. formulating it as a pixel-level segmentation task. By evaluating multiple architectures on both segmentation and classification tasks, We show the superiority of viewing the problem from a segmentation perspective. Different ablation studies are also performed to investigate what makes an effective and efficient anti-fake model. Strong baselines are also established, which, we hope, could shed some light on the field of face forensics.

研究动机与目标

• 解决现有面部伪造检测方法将问题视为全局分类任务所带来的局限性。
• 探究是否更优的定义方式是将面部伪造检测视为像素级分割问题而非分类问题。
• 通过消融研究识别出在反伪造检测中最具有效性和高效性的网络架构。
• 通过基于分割的模型建立面部伪造检测的新强基线。

提出的方法

• 作者将面部伪造检测重新定义为语义分割任务，训练模型以预测每个像素的真实性分数。
• 他们在FaceForensics++数据集上评估了包括Xception、VGG变体、UNet以及自定义模型（FN3）在内的多种架构。
• 模型使用交叉熵损失结合焦点损失进行训练，以处理真实像素与篡改像素之间的类别不平衡问题。
• 通过激活图进行卷积核可视化，以解释学习到的特征并评估模型行为。
• 消融研究对比了从零开始训练与使用ImageNet预训练模型的性能差异。
• 评估采用平均交并比（mIoU）作为主要指标，以衡量定位精度。

实验结果

研究问题

• RQ1 是否将面部伪造检测更优地表述为分割任务而非分类任务？
• RQ2 哪种神经网络架构在像素级反伪造检测中表现最佳？
• RQ3 模型深度（浅层与深层）是否影响面部伪造分割的性能？
• RQ4 ImageNet预训练是否能提升面部伪造分割模型的泛化能力？

主要发现

• 基于分割的模型在mIoU分数上显著高于分类网络，最佳模型在FaceForensics++测试集上达到92.45 mIoU。
• 浅层模型如VGG5（4层）优于深层模型如Xception（36层），表明面部伪造检测属于低层次视觉任务。
• 在ImageNet上进行预训练带来的性能增益极小，表明通用视觉特征对本任务无益处。
• 卷积核可视化显示，模型学习到了超越人类感知的细微、非直观特征，凸显了自动化检测的必要性。
• 基于VGG5的分割模型在Deepfakes上达到95.78% mIoU，在Face2Face上达到96.21% mIoU，在FaceSwap上达到94.81% mIoU，在NeuralTextures上达到75.60% mIoU，表明其在各类篡改类型中均具有鲁棒性。
• 本研究建立了面部伪造检测的新SOTA基线，最佳模型在定位精度上超越了先前基于分类的方法。