[论文解读] A Face Preprocessing Approach for Improved DeepFake Detection

Polychronis Charitidis, Giorgos Kordopatis-Zilos+2 more|arXiv (Cornell University)|Jun 12, 2020

Face recognition and analysis参考文献 32被引用 6

一句话总结

本文提出一种面部预处理方法，以提升深度伪造检测训练数据集的质量，从而提高模型性能。通过在训练前优化面部特征，该方法在多个模型上均实现了检测准确率的显著提升。

ABSTRACT

Recent advancements in content generation technologies (also widely known as DeepFakes) along with the online proliferation of manipulated media and disinformation campaigns render the detection of such manipulations a task of increasing importance. There are numerous works related to DeepFake detection but there is little focus on the impact of dataset preprocessing on the detection accuracy of the models. In this paper, we focus on this aspect of the DeepFake detection task and propose a preprocessing step to improve the quality of training datasets for the problem. We also examine its effects on the DeepFake detection performance. Experimental results demonstrate that the proposed preprocessing approach leads to measurable improvements in the performance of detection models.

研究动机与目标

• 解决数据集预处理对深度伪造检测性能影响这一尚未被充分探索的问题。
• 通过针对性的面部预处理，提升深度伪造检测模型训练数据的质量。
• 探究预处理是否能增强深度伪造检测模型的泛化能力和鲁棒性。
• 证明预处理能在多种不同的检测架构上带来一致的性能提升。

提出的方法

• 应用面部预处理技术，以提升训练数据集中图像的质量和一致性。
• 聚焦于标准化面部特征，如对齐、光照和分辨率，以减少噪声和可变性。
• 在将数据输入深度伪造检测模型之前，集成预处理流程。
• 使用成熟的面部检测和对齐算法，标准化输入图像，以提升模型训练效果。
• 评估预处理对多种最先进深度伪造检测模型的影响。
• 保持端到端的训练和评估协议，以确保预处理与非预处理数据之间的公平比较。

实验结果

研究问题

• RQ1 面部预处理如何影响深度伪造检测模型的性能？
• RQ2 预处理在不同模型架构上能多大程度地提升检测准确率？
• RQ3 预处理是否能增强模型对人脸外观和图像质量变化的鲁棒性？
• RQ4 预处理能否减少过拟合并提升深度伪造检测任务中的泛化能力？

主要发现

• 所提出的预处理方法显著提升了深度伪造检测的性能。
• 在预处理数据集上训练的检测模型，其准确率高于在原始数据上训练的模型。
• 性能提升在多种深度伪造检测架构中保持一致。
• 预处理减少了训练数据中的噪声和可变性，从而提升了模型的稳定性和泛化能力。