[논문 리뷰] The Deepfake Detection Challenge (DFDC) Preview Dataset

Brian Dolhansky, Russ Howes외 3명|arXiv (Cornell University)|2019. 10. 19.

Digital Media Forensic Detection참고 문헌 6인용 수 157

한 줄 요약

이 논문은 두 가지 페이스 스왑 방법으로 5K 비디오 DFDC 프리뷰 데이터셋을 소개하고, 참가자 동의를 포함한 데이터 수집 프로세스를 제공하며, 가중 정밀도(weighted precision)를 강조하는 평가 지표를 제시하고, TamperNet과 XceptionNet 모델의 기본선(baseline) 결과를 보고합니다.

ABSTRACT

In this paper, we introduce a preview of the Deepfakes Detection Challenge (DFDC) dataset consisting of 5K videos featuring two facial modification algorithms. A data collection campaign has been carried out where participating actors have entered into an agreement to the use and manipulation of their likenesses in our creation of the dataset. Diversity in several axes (gender, skin-tone, age, etc.) has been considered and actors recorded videos with arbitrary backgrounds thus bringing visual variability. Finally, a set of specific metrics to evaluate the performance have been defined and two existing models for detecting deepfakes have been tested to provide a reference performance baseline. The DFDC dataset preview can be downloaded at: deepfakedetectionchallenge.ai

연구 동기 및 목표

• 다양하고 동의 기반의 비디오 데이터셋으로 딥페이크 탐색 연구를 자극하고 가능하게 한다.
• 검출 방법을 벤치마크 할 프리뷰 데이터셋을 제공하고 기본 성능을 설정한다.
• 딥페이크와 실제 비디오 간의 발생률 차이를 반영하는 평가 지표를 정의한다.
• 단순 탐지 모델을 사용한 초기 기본선을 제공하여 향후 연구를 안내한다.

제안 방법

• 여성, 피부 톤, 연령의 다양성을 보장하는 크라우드소싱된 배우를 통한 데이터 수집 프로세스를 설명한다.
• 얼굴 스왑 방법 두 가지를 만들어(방법 A와 B) 조작을 시뮬레이션하고 얼굴 크기 비율에 따라 스왑을 필터링하여 특정 얼굴의 근접 프레이밍에서의 유사 성swap을 피한다.
• 각 비디오에서 여러 개의 15초 클립을 추출하고, 실제 환경의 열화(실행되는 경우) 를 시뮬레이션하기 위해 제어된 증강을 적용한다.
• 데이터셋 간의 딥페이크 발생 차이와 실제 트래픽 사이의 차이를 반영하기 위해 가중 정밀도(wP)를 정의하고 재현율에 대한 감소 수준에서 log(wP)를 보고한다.
• 프레임 기반 및 비디오 수준 탐지에서 TamperNet, XceptionNet(얼굴), XceptionNet(전체)을 기본선 평가에 사용한다.

실험 결과

연구 질문

• RQ1 다양하고 동의된 DFDC 프리뷰 데이터셋에서 간단한 딥페이크 탐지 모델의 기본 성능은 어느 정도인가?
• RQ2 약지도(weakly supervised) 또는 프레임 기반 대 전체 비디오 탐지 방식이 이 데이터셋에서 어떻게 비교되는가?
• RQ3 실제 현장의 클래스 불균형을 반영하기 위해 평가 지표를 어떻게 조정해야 하는가?
• RQ4 제어된 프리뷰 환경에서 표준 증강이 탐지된 딥페이크에 미치는 영향은 무엇인가?

주요 결과

표	지표	값1	값2	값3
표 2: Video-level test metrics when optimizing for log-WP	정밀도	0.833	0.930	0.784
	재현율	0.033	0.084	0.268
	log-WP	-3.044	-2.140	-3.352

• DFDC 프리뷰 데이터셋은 4,464개의 트레이닝 클립과 780개의 테스트 클립으로 구성되며, 참여자로부터 동의를 얻은 66명의 개인을 포함한다.
• 두 개의 스왑 방법(A와 B)을 사용하여 얼굴 스왑을 생성하고, 근접 프레임에서의 근접도 스왑을 피하기 위해 얼굴 크기 비율에 따라 필터링을 수행한다.
• 테스트 클립에 영상 증강(초당 프레임 수를 15로 낮춤, 해상도를 1/4로 축소, 인코딩 품질 저하)을 적용하여 실제 환경의 저하를 시뮬레이션한다.
• 베이스라인 결과는 로그(WP)를 최적화할 때, 데이터셋에서 TamperNet이 정밀도 0.833, 재현율 0.033을 달성하고 log(WP) = -3.044를 얻었다.
• 같은 설정에서 XceptionNet(얼굴)은 정밀도 0.930, 재현율 0.084를 달성하고 log(WP) = -2.140을 얻었으며, XceptionNet(전체)은 정밀도 0.784, 재현율 0.268를 달성하고 log(WP) = -3.352를 얻었다.
• 이 논문은 실제 데이터셋과 유기적 트래픽 간의 현실적인 딥페이크 발생 차이를 반영하기 위해 가중 정밀도(log(WP)) 지표를 정의한다.