[논문 리뷰] FaceForge: A Deep Learning Framework for Facial Manipulation Generation and Detection

Nasir, Huzaifa|arXiv (Cornell University)|2026. 02. 09.

Text Readability and Simplification인용 수 6

한 줄 요약

이 논문은 인종, 성별, 종교, 사회경제적 지위 등 9개 카테고리에 걸쳐 마스킹된 언어 모델(Masked Language Models, MLMs)의 사회적 편향을 측정하기 위해 1,508개의 문장 쌍으로 구성된 공동 제작 기반 벤치마크인 CrowS-Pairs를 소개한다. 연구 결과, 널리 사용되는 MLMs가 역사적으로 불리한 지위에 있었던 집단에 대해 편향을 보이며, 항상 스테레오타입 문장에 대해 선호하는 경향을 보임을 확인했다.

ABSTRACT

FaceForge: A Deep Learning Framework for Facial Manipulation Generation and Detection This paper presents FaceForge, a comprehensive deep learning framework for generating and detecting facial manipulations (deepfakes). We develop a Vision Transformer-based generator architecture with 252 million parameters that learns to synthesize realistic face swaps, and an XceptionNet-based detector that achieves 99.33% accuracy with an AUC-ROC of 0.9995 in distinguishing authentic faces from deepfakes. Key Contributions:- Novel Vision Transformer-based generator with dual ViT encoders, cross-attention mechanisms, transformer decoders, and CNN upsamplers for high-quality face synthesis- State-of-the-art XceptionNet-based detector achieving 99.33% accuracy and 0.9995 AUC-ROC on FaceForensics++ dataset- Comprehensive evaluation with only 10 misclassifications out of 1,500 test samples (0.67% error rate)- Interactive web-based demonstration system using Gradio for real-time deepfake detection- Efficient training methodology completing in 19 hours on CPU infrastructure The system is trained on the FaceForensics++ dataset comprising 10,000 face images. Our detector significantly outperforms existing methods including MesoNet (83.1%), base XceptionNet (95.3%), EfficientNet-B4 (96.8%), Capsule Networks (97.4%), and Face X-ray (98.1%). Technical Highlights:- Generator: 252M parameters with L1 reconstruction loss, achieving 0.204 validation loss- Detector: 22M parameters with cross-entropy loss and data augmentation- Training: AdamW optimizer with cosine annealing learning rate schedule- Inference: <200ms per image for real-time detection- False Negative Rate: 0.27% (only 2 out of 750 deepfakes missed) Applications:- Content moderation for social media platforms- Forensic analysis and fact-checking- Educational demonstrations of deepfake technology- Research advancement in synthetic media detection This work contributes to the critical challenge of maintaining trust in digital media by providing both generation capabilities (for understanding manipulation techniques) and highly accurate detection systems. The framework is designed with ethical considerations, emphasizing responsible use for research, education, and security applications. Dataset: FaceForensics++ (c40 compression)Framework: PyTorch with timm and Gradio librariesEvaluation Metrics: Accuracy, AUC-ROC, Precision, Recall, F1-Score, Confusion Matrix Author: Huzaifa NasirAffiliation: National University of Computer and Emerging Sciences (NUCES), Islamabad, Pakistan

연구 동기 및 목표

• 사전 훈련된 언어 모델의 사회적 편향을 측정하기 위한 신뢰할 수 있고 정량적인 기준을 개발하기 위해.
• 미국 내 역사적으로 불리한 지위에 있었던 집단에 대한 명시적 스테레오타입에 집중하기 위해.
• 널리 사용되는 마스킹된 언어 모델(Masked Language Models, MLMs)이 스테레오타입 문장 쌍보다 반스테레오타입 문장 쌍을 얼마나 선호하는지 평가하기 위해.
• NLP 모델의 편향 제거 진전을 추적하기 위한 도구를 제공하기 위해.
• 템플릿 기반 데이터셋을 피하기 위해 실제 세계의 스테레오타입에서 유래한 다양한 인간이 수작업으로 구성한 문장 쌍을 사용하기 위해.

제안 방법

• CrowS-Pairs는 1,508개의 문장 쌍으로 구성되며, 각 쌍은 불리한 집단에 대한 스테레오타입 문장과 유리한 집단에 대한 반스테레오타입 문장을 대비시킨다.
• 각 쌍의 두 문장은 딱 한 가지 요소만 다를 뿐이며, 주로 인구 통계적 집단에 대한 참조어(예: '아프리카계 미국인' 대비 '백인 미국인')만 다르다.
• 모델의 선호도는 MLM의 사전 확률 하에서 각 문장의 가능도를 비교하여 측정한다. 이는 로그우도 점수를 사용한다.
• 편향을 정량화하기 위해 스테레오타입 문장과 반스테레오타입 문장의 로그우도 점수 차이를 계산하는 지표를 사용한다.
• 이 데이터셋은 9종류의 편향 유형을 포함한다: 인종, 성별/성정체성, 성적 지향, 종교, 연령, 국적, 장애, 신체적 외모, 사회경제적 지위.
• 평가 대상은 BERT, RoBERTa, DistilBERT 등 널리 사용되는 3개의 MLMs이다.

실험 결과

연구 질문

• RQ1 마스킹된 언어 모델이 다양한 인구 통계적 집단에 대해 스테레오타입 문장 쌍보다 반스테레오타입 문장 쌍을 얼마나 선호하는가?
• RQ2 인종, 종교, 성별 등의 다양한 종류의 사회적 편향에서 편향의 정도는 어떻게 달라지는가?
• RQ3 공동 제작된 다양성 있는 데이터셋이 실제로 NLP 모델에서 발생하는 사회적 편향을 효과적으로 캡처하고 측정할 수 있는가?
• RQ4 널리 사용되는 사전 훈련된 언어 모델이 해로운 스테레오타입에 체계적인 선호를 보이는가?
• RQ5 이 벤치마크가 NLP 모델의 편향 제거 진전을 추적하기 위한 신뢰할 수 있는 지표가 될 수 있는가?

주요 결과

• 평가된 세 개의 마스킹된 언어 모델(BERT, RoBERTa, DistilBERT)은 모든 9개의 편향 카테고리에서 스테레오타입 문장에 유의미한 선호를 보였다.
• 종교 관련 편향이 가장 도전적인 카테고리로 나타났으며, 모델들이 가장 높은 편향 점수를 보였다. 반면 성별 관련 편향은 비교적 덜 두드러졌다.
• 모든 편향 카테고리에서 스테레오타입 문장에 대한 모델의 선호도는 통계적으로 유의미했으며, 최신 MLMs에서 광범위한 편향이 존재함을 시사한다.
• 이 데이터셋은 미국 사회에서 널리 인정받는 다양한 사회적 편향을 성공적으로 캡처했으며, 실제 세계의 스테레오타입을 반영하고 있다.
• 이 연구는 언어 모델의 편향이 단지 단어 임베딩에 국한되지 않고 문장 수준의 표현까지 확장됨을 확인했다.
• 저자들은 CrowS-Pairs에서 낮은 점수를 얻는다고 해서 완전한 편향 제거가 이루어졌다고 보장할 수 없다고 경고한다. 이는 데이터셋이 문화적으로 특정되어 있으며, 모든 경우를 포함하지는 않기 때문이다.