[논문 리뷰] Deepfake Detection: A Comparative Analysis

Sohail Ahmed Khan, Duc‐Tien Dang‐Nguyen|arXiv (Cornell University)|2023. 08. 07.

Digital Media Forensic Detection인용 수 4

한 줄 요약

이 논문은 네 가지 벤치마크(FakeAVCeleb, CelebDF-V2, DFDC, FaceForensics++)에서 깊이 학습 기반 딥페이크 탐지에 대해 감독 학습 및 자기지도 학습 기반 딥러닝 모델을 종합적으로 비교 분석한다. 여덟 개의 감독 학습 아키텍처와 두 가지 자기지도 학습 기반 비전 트랜스포머(DINO, CLIP)를 평가하여, 특히 DINO로 사전 훈련된 ViT-Base가 CNN보다 일반화 능력에서 뛰어나며, 데이터 증강 기법이 성능 향상에 일관되게 기여하지는 않는다는 것을 발견했다.

ABSTRACT

This paper present a comprehensive comparative analysis of supervised and self-supervised models for deepfake detection. We evaluate eight supervised deep learning architectures and two transformer-based models pre-trained using self-supervised strategies (DINO, CLIP) on four benchmarks (FakeAVCeleb, CelebDF-V2, DFDC, and FaceForensics++). Our analysis includes intra-dataset and inter-dataset evaluations, examining the best performing models, generalisation capabilities, and impact of augmentations. We also investigate the trade-off between model size and performance. Our main goal is to provide insights into the effectiveness of different deep learning architectures (transformers, CNNs), training strategies (supervised, self-supervised), and deepfake detection benchmarks. These insights can help guide the development of more accurate and reliable deepfake detection systems, which are crucial in mitigating the harmful impact of deepfakes on individuals and society.

연구 동기 및 목표

• 다양한 딥러닝 아키텍처의 깊이 학습 기반 딥페이크 탐지 성능과 일반화 능력을 평가하기 위해.
• 특히 DINO와 CLIP로 사전 훈련된 비전 트랜스포머(ViT)를 중심으로 감독 학습과 자기지도 학습 전략을 비교하기 위해.
• 다양한 데이터셋에서 모델 성능에 미치는 데이터 증강 기법의 영향을 평가하기 위해.
• 미래의 새로운 딥페이크 생성 방법에 대해 가장 우수한 일반화 성능를 보여주는 벤치마크 데이터셋을 규명하기 위해.
• 더 강력하고 신뢰할 수 있는 딥페이크 탐지 시스템 개발을 위한 실질적인 통찰을 제공하기 위해.

제안 방법

• 네 가지 딥페이크 탐지 벤치마크에서 감독 학습 기반의 여덟 가지 CNN 기반 아키텍처(예: Res2Net-101, MViT-V2, Swin Transformer)를 훈련 및 평가하기 위해.
• 특징 추출기의 가중치를 고정하고 분류 헤드만 훈련하는 방식으로 자기지도 학습 기반 비전 트랜스포머 모델(DINO 및 CLIP)을 미세조정하기 위해.
• 모델의 강건성 평가를 위해 동일 데이터셋 내 평가(intra-dataset evaluation)와 다른 데이터셋 간 평가( inter-dataset evaluation)를 수행하기 위해.
• 성능 및 일반화 능력에 미치는 영향을 분석하기 위해 훈련 중 다양한 이미지 증강 기법을 적용하기 위해.
• 모든 설정에서 모델 성능를 정량적으로 비교하기 위해 표준 평가 지표(LogLoss, AUC, Accuracy)를 사용하기 위해.

실험 결과

연구 질문

• RQ1 감독 학습 기반의 CNN과 트랜스포머 아키텍처 중에서, 새로운 딥페이크 데이터에 대해 가장 뛰어난 일반화 성능를 보이는 것은 무엇인가?
• RQ2 자기지도 학습 모델(DINO, CLIP)은 감독 학습 모델에 비해 딥페이크 탐지에서 특히 다중 데이터셋 일반화 능력에서 어떻게 비교되는가?
• RQ3 다양한 벤치마크에서 일관되게 성능 향상과 일반화 능력 향상을 이끌어내기 위해 데이터 증강 기법이 항상 유의미한가?
• RQ4 네 가지 벤치마크(FakeAVCeleb, CelebDF-V2, DFDC, FaceForensics++) 중에서 학습하기 가장 어려운 데이터셋은 무엇이며, 가장 우수한 일반화 성능를 제공하는 것은 무엇인가?
• RQ5 딥페이크 탐지에서 모델 크기와 성능 및 일반화 능력 간의 관계는 어떠한가?

주요 결과

• DINO로 사전 훈련된 ViT-Base 모델이 동일 데이터셋 내 평가에서 가장 높은 성능를 기록했으며, 감독 학습 기반의 ViT-Base 및 CLIP 기반 모델을 모두 압도했다.
• 멀티스케일 특징 처리 능력 덕분에 트랜스포머 기반 아키텍처(Res2Net-101, MViT-V2, Swin Transformer)가 CNN보다 동일 데이터셋 내 비교에서 전체적으로 뛰어난 성능를 보였다.
• 다른 데이터셋 간 일반화 평가에서 비전 트랜스포머 모델이 CNN보다 뛰어난 성능를 보여, 분포 이탈에 대해 더 강건한 것으로 나타났다.
• DFDC 데이터셋은 모든 모델에서 가장 높은 LogLoss와 가장 낮은 AUC/ACC 점수를 기록하여 학습하기 가장 어려운 데이터셋으로 확인되었다.
• FaceForensics++는 어려움 정도에서 두 번째로 높았지만, 다른 데이터셋에 비해 가장 뛰어난 일반화 성능를 보였으며, 다중 데이터셋 평가에서 다른 데이터셋을 앞섰다.
• 이미지 증강 기법은 성능 향상에 일관되게 기여하지 않았으며, 특히 자기지도 학습 모델에서는 성능 저하를 유발하는 경우가 있었다.