[논문 리뷰] WildDeepfake: A Challenging Real-World Dataset for Deepfake Detection

Bojia Zi, Minghao Chang외 3명|arXiv (Cornell University)|2021. 01. 05.

Generative Adversarial Networks and Image Synthesis참고 문헌 37인용 수 40

한 줄 요약

이 논문은 인터넷에서 수집한 실제 세계 딥페이크 데이터셋인 WildDeepfake를 소개하고, 기존 탐지기들이 이 데이터셋에서 어려움을 겪는다는 점을 보여주며, 주의력이 기반인 ADDNets(2D 및 3D)로 성능을 개선하고 특히 WildDeepfake에서 더 큰 효과를 발휘한다는 점을 제시합니다.

ABSTRACT

In recent years, the abuse of a face swap technique called deepfake has raised enormous public concerns. So far, a large number of deepfake videos (known as "deepfakes") have been crafted and uploaded to the internet, calling for effective countermeasures. One promising countermeasure against deepfakes is deepfake detection. Several deepfake datasets have been released to support the training and testing of deepfake detectors, such as DeepfakeDetection and FaceForensics++. While this has greatly advanced deepfake detection, most of the real videos in these datasets are filmed with a few volunteer actors in limited scenes, and the fake videos are crafted by researchers using a few popular deepfake softwares. Detectors developed on these datasets may become less effective against real-world deepfakes on the internet. To better support detection against real-world deepfakes, in this paper, we introduce a new dataset WildDeepfake which consists of 7,314 face sequences extracted from 707 deepfake videos collected completely from the internet. WildDeepfake is a small dataset that can be used, in addition to existing datasets, to develop and test the effectiveness of deepfake detectors against real-world deepfakes. We conduct a systematic evaluation of a set of baseline detection networks on both existing and our WildDeepfake datasets, and show that WildDeepfake is indeed a more challenging dataset, where the detection performance can decrease drastically. We also propose two (eg. 2D and 3D) Attention-based Deepfake Detection Networks (ADDNets) to leverage the attention masks on real/fake faces for improved detection. We empirically verify the effectiveness of ADDNets on both existing datasets and WildDeepfake. The dataset is available at: https://github.com/OpenTAI/wild-deepfake.

연구 동기 및 목표

• 가상 환경에서 생성된 데이터셋을 넘어 실제 세계의 딥페이크 벤치마크의 필요성을 동기 부여한다.
• 다양한 장면, 얼굴, 고품질 위조를 포함하는 대규모 인터넷 소스 데이터셋 WildDeepfake를 생성한다.
• WildDeepfake와 기존 데이터셋에서 기초 탐지기들을 체계적으로 평가하여 일반화의 간극을 특징화한다.
• 주의(mask) 기반의 ADDNets(2D와 3D)를 제안하여 딥페이크 탐지 성능을 향상시킨다.

제안 방법

• 인터넷 비디오에서 WildDeepfake를 큐레이션(707개의 딥페이크 비디오, 7,314개 얼굴 시퀀스, 1,180,099개의 얼굴 이미지)하고 시퀀스를 인간 주석가를 통해 주석화한다.
• 얼굴 검출에 Mtcnn을 사용하고, 얼굴 특징 추출에 MobileNetV2를, 얼굴의 정합에 dlib랜드마크를 활용한다.
• ADDNet-2D를 제안: ADD 블록(주의 기반 특징 스케일링) 뒤에 이미지 수준 탐지를 위한 2D CNN; ADDNet-3D: 여러 ADD 블록이 3D CNN으로 시퀀스 수준 탐지를 수행한다.
• 주의 마스크 생성: 68점 얼굴 랜드마크에서 얼굴 및 기관 마스크를 생성하고 Gaussian 블러로 부드럽게 처리한 뒤 [0,1] 주의 맵으로 결합한다.
• 교차 엔트로피 손실과 Adam으로 네트워크를 최적화하고, 여섯 개 데이터셋(DFD, DF-TIMIT LQ/HQ, FF++ LQ/HQ, WildDeepfake)에서 평가한다.
• WildDeepfake의 난이도와 ADDNets의 효과를 보이기 위해 기초 네트워크(XceptionNet, VGG16, ResNet 변형 등)와의 비교를 제시한다.

실험 결과

연구 질문

• RQ1 기존 가상 딥페이크 데이터셋에서 학습한 탐지기가 WildDeepfake의 실제 딥페이크에서 어떻게 성능을 보이는가?
• RQ2 주의 기반 ADDNets가 이미지 및 시퀀스 수준의 주의 마스크를 활용하여 탐지를 개선할 수 있는가?
• RQ3 야생 딥페이크 탐지에서 2D와 3D 아키텍처의 상대적인 강점은 무엇인가?
• RQ4 야생 딥페이크가 기존 데이터셋에 비해 최첨단 탐지기의 성능을 얼마나 악화시키는가?

주요 결과

• WildDeepfake는 더 도전적이다: 기본 탐지기가 WildDeepfake 이미지 수준 테스트에서 대략 70%의 정확도 이상을 초과하지 못하는 반면, 기존 데이터셋에서는 더 높은 성능을 보인다.
• ADDNet-2D는 기존 데이터셋에서 경쟁력 있거나 우수한 성능을 달성하고 WildDeepfake에서 상당히 더 나은 성능을 보인다(예: WildDeepfake에서 76.25% 대 기초 모델들의 60–69% 범위).
• ADDNet-3D는 WildDeepfake에서 65.50%에 도달하나 일반적으로 ADDNet-2D 및 일부 2D 기초 모델보다 낮아, 야생 위조의 시퀀스 수준 단서에 시간적 정보가 덜 신뢰적임을 시사한다.
• 전반적으로 가상 딥페이크로 학습된 탐지기는 야생 딥페이크에 일반화되지 않아 실제 세계 벤치마크의 필요성과 강 robust한 탐지기의 필요성을 강조한다.
• 주요 층 간의 주의 기반 특징 보정(ADD 블록)을 통한 딥페이크 탐지 효과를 확인한 ADDNet 접근법의 유효성