[논문 리뷰] The DeepFake Detection Challenge Dataset

Brian Dolhansky, Joanna Bitton외 5명|arXiv (Cornell University)|2020. 06. 12.

Generative Adversarial Networks and Image Synthesis참고 문헌 3인용 수 185

한 줄 요약

이 논문은 GAN 기반 및 비학습 기반 얼굴 교체 방법을 사용하여 3,426명의 동의한 배우들로부터 100,000개 이상의 클립을 포함하는, 공개적으로 이용 가능한 가장 큰 얼굴 교체 영상 데이터셋인 DeepFake 검출 챌린지(DFDC) 데이터셋을 소개한다. 연구는 DFDC 데이터셋으로만 훈련된 모델이 실제 세계의 Deepfake에 일반화됨을 입증하여, 검출 연구를 위한 유의미한 기준을 확립한다.

ABSTRACT

Deepfakes are a recent off-the-shelf manipulation technique that allows anyone to swap two identities in a single video. In addition to Deepfakes, a variety of GAN-based face swapping methods have also been published with accompanying code. To counter this emerging threat, we have constructed an extremely large face swap video dataset to enable the training of detection models, and organized the accompanying DeepFake Detection Challenge (DFDC) Kaggle competition. Importantly, all recorded subjects agreed to participate in and have their likenesses modified during the construction of the face-swapped dataset. The DFDC dataset is by far the largest currently and publicly available face swap video dataset, with over 100,000 total clips sourced from 3,426 paid actors, produced with several Deepfake, GAN-based, and non-learned methods. In addition to describing the methods used to construct the dataset, we provide a detailed analysis of the top submissions from the Kaggle contest. We show although Deepfake detection is extremely difficult and still an unsolved problem, a Deepfake detection model trained only on the DFDC can generalize to real in-the-wild Deepfake videos, and such a model can be a valuable analysis tool when analyzing potentially Deepfaked videos. Training, validation and testing corpuses can be downloaded from this https URL.

연구 동기 및 목표

• 딥패이크의 증가하는 위협에 대응하기 위해, 검출 연구를 위한 대규모 공개 데이터셋을 구축하기 위해.
• Kaggle에서 열린 DeepFake 검출 챌린지를 통해 표준화된 기준을 제공하여 검출 모델을 평가하기 위해.
• 모든 인물의 얼굴을 사용한 얼굴 교체 영상 제작에 동의한 모든 참가자로부터의 동의를 확보하여 윤리적인 데이터 수집을 보장하기 위해.
• 챌린지에서 상위 성능을 보인 모델들을 분석하고, 실제 세계의 Deepfake에 대한 일반화 능력을 평가하기 위해.
• 실제 상황에서 잠재적으로 조작된 영상을 분석할 수 있는 신뢰할 수 있는 검출 도구 개발을 가능하게 하기 위해.

제안 방법

• 데이터셋은 GAN 기반 및 비학습 기반 방법을 포함한 여러 얼굴 교체 기법을 사용하여 3,426명의 급여를 받은 배우들의 영상에 적용하여 구축되었다.
• 모든 참가자들이 자신의 얼굴 이미지가 얼굴 교체 콘텐츠 제작에 사용되는 데 대해 사전 동의를 제공하여 윤리적인 사용을 보장하였다.
• 훈련, 검증, 테스트를 위한 균형 잡힌 분할을 포함하여 100,000개 이상의 영상 클립으로 구성되어 있다.
• DFDC 데이터셋을 주요 훈련 및 평가 자원으로 사용하여, Kaggle 기반 대회를 조직하여 검출 모델의 성능을 평가하였다.
• 챌린지의 상위 제출물들을 분석하여, 다양한 얼굴 교체 기법에 대해 모델 성능, 일반화 능력 및 강건성의 평가를 수행하였다.
• 연구 목적을 지원하고 재현 가능성을 확보하며 향후 개발을 지원하기 위해 데이터셋과 훈련 자원을 공개적으로 배포하였다.

실험 결과

연구 질문

• RQ1 DFDC 데이터셋으로만 훈련된 검출 모델이 훈련 중에 볼 수 없었던 실제 세계의 Deepfake 영상에 일반화될 수 있는가?
• RQ2 DFDC 데이터셋 내에서 실제 영상과 얼굴 교체 영상 간을 구분하는 데 있어 다양한 딥러닝 아키텍처의 효과는 어떠한가?
• RQ3 성공적인 검출 모델이 DFDC 데이터셋으로부터 학습하는 주요 패턴이나 특징는 무엇인가?
• RQ4 합성된 얼굴 교체 영상으로 훈련된 모델들이 실생활 Deepfake에 대해 테스트했을 때의 성능는 어떠한가?
• RQ5 다양한 얼굴 교체 기법에 적용되었을 때 현재의 Deepfake 검출 모델의 한계와 실패 유형은 무엇인가?

주요 결과

• DFDC 데이터셋으로만 훈련된 모델들이 실제 세계의 Deepfake 영상에 일반화되는 것으로 나타나, 이 데이터셋이 실제 검출에 유용함을 입증하였다.
• 챌린지에서 상위 성능을 보인 모델들은 테스트 세트에서 높은 정확도를 기록하여, 딥러닝 기반 접근 방식이 얼굴 교체 영상 검출에 효과적일 수 있음을 시사하였다.
• 다양한 얼굴 교체 기법을 통해 미세한 조작을 식별하는 데 있어 여전히 도전적인 과제로 남아 있으며, 이는 검출 작업의 복잡성을 반영한다.
• 실생활 Deepfake에 대한 일반화가 관찰되었지만, 조작 유형과 영상 품질에 따라 성능이 달라지는 경향이 있었다.
• DFDC 데이터셋은 의미 있는 기준 설정을 가능하게 하며, 강력한 검출 시스템 개발을 지원한다.
• 모든 참가자로부터의 사전 동의를 확보한 윤리적인 데이터 수집 방식은 연구를 위한 데이터셋의 신뢰성과 재현 가능성을 높였다.