[논문 리뷰] The DeepFake Detection Challenge (DFDC) Dataset

Brian Dolhansky|arXiv (Cornell University)|2020. 06. 12.

Generative Adversarial Networks and Image Synthesis참고 문헌 24인용 수 50

한 줄 요약

이 논문은 DFDC 데이터셋과 Kaggle 대회를 소개하며 데이터셋 규모, 구성 방법, 증강, 그리고 실제 딥페이크에 대한 일반화 성능을 보여주는 베이스라인 결과를 상세히 제시한다.

ABSTRACT

Deepfakes are a recent off-the-shelf manipulation technique that allows anyone to swap two identities in a single video. In addition to Deepfakes, a variety of GAN-based face swapping methods have also been published with accompanying code. To counter this emerging threat, we have constructed an extremely large face swap video dataset to enable the training of detection models, and organized the accompanying DeepFake Detection Challenge (DFDC) Kaggle competition. Importantly, all recorded subjects agreed to participate in and have their likenesses modified during the construction of the face-swapped dataset. The DFDC dataset is by far the largest currently and publicly available face swap video dataset, with over 100,000 total clips sourced from 3,426 paid actors, produced with several Deepfake, GAN-based, and non-learned methods. In addition to describing the methods used to construct the dataset, we provide a detailed analysis of the top submissions from the Kaggle contest. We show although Deepfake detection is extremely difficult and still an unsolved problem, a Deepfake detection model trained only on the DFDC can generalize to real "in-the-wild" Deepfake videos, and such a model can be a valuable analysis tool when analyzing potentially Deepfaked videos. Training, validation and testing corpuses can be downloaded from https://ai.facebook.com/datasets/dfdc.

연구 동기 및 목표

• 공개적으로 사용 가능한 조작 도구가 증가하는 상황에서 확장 가능한 딥페이크 탐지의 필요성을 동기화한다.
• 다양한 방법과 실제 세계 변형을 포괄하는 대규모의 동의 받은 DFDC 데이터셋을 구축한다.
• 실제 세계의 딥페이크에 대한 일반화를 평가하기 위해 탐지 모델을 공개적으로 벤치마크한다.
• 증강, 디스트랙터, 그리고 불균형한 딥페이크 탐지에 적합한 평가 지표에 대한 통찰을 제공한다.

제안 방법

• 3,426명의 유료 배우를 포함한 대규모의 동의 기반 페이스 스왑 비디오 데이터셋을 구성했습니다(약 48,190편의 비디오, 원시 데이터 25 TB).
• 여러 가지 얼굴 스왑 방법(DFAE, MM/NN, NTH, FSGAN, StyleGAN)과 후처리를 적용하여 딥페이크를 생성했다.
• 비디오의 70%에 대하여 광범위한 데이터 증강 및 Distractors(기하학적/색상 변환, 오버레이, 강아지/꽃 필터 등)를 적용했다.
• 리더보드를 위한 공개 테스트와 최종 평가를 위한 비공개 테스트라는 이중 테스트 세트 체제를 구현하고, 로그 손실과 함께 가중 정밀도를 사용했다.
• 실제 세계 성능 측정을 위해 2,114개 팀의 대규모 Kaggle 대회를 주최하고 비공개 테스트 분포를 운영했다.
• 다양한 아키텍처를 비교하고 여러 재현 수준에서 정밀도 기준으로 상위 5개 결과를 보고했다.

실험 결과

연구 질문

• RQ1 DFDC 데이터셋으로 학습된 탐지기가 실제로 보지 못한 딥페이크 비디오에 얼마나 잘 일반화되는가?
• RQ2 다양한 얼굴 스왑 방법이 탐지 가능성 및 시계열 일관성에 어떤 영향을 미치는가?
• RQ3 증강 및 디스트랙터가 현실적인 클래스 불균형 하에서 탐지 성능에 어떤 영향을 미치는가?
• RQ4 실제 배치에서의 탐지기 유용성을 가장 잘 반영하는 지표는 무엇인가(편향된 분포 하의 정밀도 등)?

주요 결과

팀 이름	전반 로그 손실	DFDC 로그 손실	실제 로그 손실	실제 P@0.1	실제 P@0.3	실제 P@0.9
Selim Seferbekov [24]	0.4279	0.1983	0.6605	0.9803	0.7610	0.5389
WM [34]	0.4284	0.1787	0.6805	0.9294	0.6717	0.5775
NTechLab [4]	0.4345	0.1703	0.7039	0.9804	0.8244	0.5541
Eighteen Years Old [25]	0.4347	0.1882	0.6831	0.9843	0.6329	0.5625
The Medics [11]	0.4371	0.2157	0.6621	0.9653	0.7354	0.5516

• DFDC에서의 학습은 실제 비디오에 대한 일반화를 낳으며, 실제 비디오에서 평균 정밀도 0.753 및 ROC-AUC 0.734를 보인다.
• 공개 리더보드 성능은 비공개 테스트 성능과 상관 관계가 있어 일반화 경향을 시사한다.
• 상위 5개 제출은 DFDC 비디오에서 로그 손실 약 0.43으로 강한 DFDC 성능을 달성했고, 실제 비디오 성능은 낮지만 일반화의 지표가 된다.
• DFAE 기반 방법은 GAN 유사 방법에 비해 다양한 조건에서 더 높은 품질의 스왑을 생성하는 경향이 있었고, 제어되지 않는 설정에서 어려움을 겪었다.
• StyleGAN 기반 스왑은 응시된 방법들 중 시선과 조명 매칭이 일관되지 않는 경향을 보여 최악의 성능을 보였다.