[论文解读] FaceForge: A Deep Learning Framework for Facial Manipulation Generation and Detection

Nasir, Huzaifa|arXiv (Cornell University)|Feb 9, 2026

Text Readability and Simplification被引用 6

一句话总结

本文提出了CrowS-Pairs，一个由1,508对句子组成的众包基准，旨在衡量掩码语言模型（MLMs）在九种类别（包括种族、性别、宗教和经济社会地位）中的社会偏见。研究发现，广泛使用的MLM普遍偏好刻板印象句，而非反刻板印象句，表明这些模型在美国历史上处于不利地位的群体中普遍存在偏见。

ABSTRACT

FaceForge: A Deep Learning Framework for Facial Manipulation Generation and Detection This paper presents FaceForge, a comprehensive deep learning framework for generating and detecting facial manipulations (deepfakes). We develop a Vision Transformer-based generator architecture with 252 million parameters that learns to synthesize realistic face swaps, and an XceptionNet-based detector that achieves 99.33% accuracy with an AUC-ROC of 0.9995 in distinguishing authentic faces from deepfakes. Key Contributions:- Novel Vision Transformer-based generator with dual ViT encoders, cross-attention mechanisms, transformer decoders, and CNN upsamplers for high-quality face synthesis- State-of-the-art XceptionNet-based detector achieving 99.33% accuracy and 0.9995 AUC-ROC on FaceForensics++ dataset- Comprehensive evaluation with only 10 misclassifications out of 1,500 test samples (0.67% error rate)- Interactive web-based demonstration system using Gradio for real-time deepfake detection- Efficient training methodology completing in 19 hours on CPU infrastructure The system is trained on the FaceForensics++ dataset comprising 10,000 face images. Our detector significantly outperforms existing methods including MesoNet (83.1%), base XceptionNet (95.3%), EfficientNet-B4 (96.8%), Capsule Networks (97.4%), and Face X-ray (98.1%). Technical Highlights:- Generator: 252M parameters with L1 reconstruction loss, achieving 0.204 validation loss- Detector: 22M parameters with cross-entropy loss and data augmentation- Training: AdamW optimizer with cosine annealing learning rate schedule- Inference: <200ms per image for real-time detection- False Negative Rate: 0.27% (only 2 out of 750 deepfakes missed) Applications:- Content moderation for social media platforms- Forensic analysis and fact-checking- Educational demonstrations of deepfake technology- Research advancement in synthetic media detection This work contributes to the critical challenge of maintaining trust in digital media by providing both generation capabilities (for understanding manipulation techniques) and highly accurate detection systems. The framework is designed with ethical considerations, emphasizing responsible use for research, education, and security applications. Dataset: FaceForensics++ (c40 compression)Framework: PyTorch with timm and Gradio librariesEvaluation Metrics: Accuracy, AUC-ROC, Precision, Recall, F1-Score, Confusion Matrix Author: Huzaifa NasirAffiliation: National University of Computer and Emerging Sciences (NUCES), Islamabad, Pakistan

研究动机与目标

• 开发一个可靠且可量化的基准，用于衡量预训练语言模型中的社会偏见。
• 聚焦于美国历史上处于不利地位群体的明确刻板印象。
• 评估广泛使用的掩码语言模型（MLMs）在偏好刻板印象句与反刻板印象句对时的表现。
• 提供一种工具，用于追踪NLP模型去偏化的进展。
• 通过使用来自现实世界刻板印象的多样化、人工筛选的句子对，避免基于模板的数据集。

提出的方法

• CrowS-Pairs由1,508对句子构成，每对句子对比了关于弱势群体的刻板印象陈述与关于优势群体的反刻板印象陈述。
• 每对句子仅在人口统计群体的指代上略有不同（例如，'非裔美国人'与'白人美国人'）。
• 通过比较MLM先验下每个句子的可能性来衡量模型的偏好，使用对数似然得分。
• 该度量通过计算刻板印象句与反刻板印象句之间对数似然得分的差异来量化偏见。
• 该数据集涵盖九种子类型偏见：种族、性别/性别认同、性取向、宗教、年龄、国籍、残疾、外貌特征以及经济社会地位。
• 评估在三种广泛使用的MLM上进行：BERT、RoBERTa和DistilBERT。

实验结果

研究问题

• RQ1 掩码语言模型在不同人口群体中，对刻板印象句相对于反刻板印象句的偏好程度如何？
• RQ2 不同类型的偏见（如种族、宗教或性别）之间的偏见程度有何差异？
• RQ3 众包的、多样化的数据集能否有效捕捉并衡量NLP模型中的现实社会偏见？
• RQ4 广泛使用的预训练语言模型是否表现出对有害刻板印象的系统性偏好？
• RQ5 该基准能否作为追踪NLP模型去偏进展的可靠度量？

主要发现

• 在评估的三种掩码语言模型——BERT、RoBERTa和DistilBERT——中，所有模型在全部九种类别偏见中均表现出对刻板印象句的显著偏好。
• 宗教成为最具挑战性的类别，模型显示出最高的偏见得分，而与性别相关的偏见则相对不那么明显。
• 在每一个偏见类别中，模型对刻板印象句的偏好均具有统计学显著性，表明最先进MLM中普遍存在偏见。
• 该数据集成功捕捉了美国语境下广泛公认的各类社会偏见，反映了现实世界的刻板印象。
• 该研究证实，语言模型中的偏见不仅限于词嵌入，还延伸至句子级别的表征。
• 作者警告，CrowS-Pairs得分较低并不意味着完全去偏，因为该数据集具有文化特定性且并非全面覆盖。