[논문 리뷰] Celeb-DF: A Large-scale Challenging Dataset for DeepFake Forensics

Yuezun Li, Xin Yang외 3명|arXiv (Cornell University)|2019. 09. 27.

Digital Media Forensic Detection참고 문헌 50인용 수 103

한 줄 요약

Celeb-DF는 더 큰 규모의 고품질 DeepFake 비디오 데이터세트를 도입하여(5,639개의 DeepFakes, 200만 프레임 이상) 탐지 방법을 더 잘 평가하도록 하며, 현재의 탐지기가 이 고품질 데이터에서 어려움을 겪고 있음을 보여준다.

ABSTRACT

AI-synthesized face-swapping videos, commonly known as DeepFakes, is an emerging problem threatening the trustworthiness of online information. The need to develop and evaluate DeepFake detection algorithms calls for large-scale datasets. However, current DeepFake datasets suffer from low visual quality and do not resemble DeepFake videos circulated on the Internet. We present a new large-scale challenging DeepFake video dataset, Celeb-DF, which contains 5,639 high-quality DeepFake videos of celebrities generated using improved synthesis process. We conduct a comprehensive evaluation of DeepFake detection methods and datasets to demonstrate the escalated level of challenges posed by Celeb-DF.

연구 동기 및 목표

• 인터넷의 현실적인 콘텐츠에 더 잘 부합하는 더 크고 고품질의 DeepFake 비디오 데이터세트의 필요성을 동기 부여한다.
• 이전 데이터세트에서 관찰된 아티팩트를 줄이기 위해 향상된 합성을 갖춘 Celeb-DF를 만든다.
• 현실 세계의 도전 과제를 평가하기 위해 Celeb-DF와 기존 데이터세트에 대한 현재 DeepFake 탐지 방법의 포괄적 평가를 제공한다.

제안 방법

• 256x256 얼굴 영역을 생성하고 시각적 품질이 더 높으며 인공물은 더 적은 향상된 DeepFake 합성 파이프라인을 개발한다.
• 기증자와 대상 얼굴 간의 색상 불일치를 줄이기 위해 색상 보강 및 색상 전송을 적용한다.
• 매끄러운 경계로 전체 얼굴 영역을 포괄하도록 얼굴 마스크를 개선한다.
• 프레임 간 플리커링을 줄이기 위해 시간적 특징에 칼만 스무딩을 도입한다.
• 머리 영역에 초점을 맞춘 Mask-SSIM을 사용하여 시각적 품질을 정량적으로 평가한다.
• Celeb-DF를 포함한 여러 데이터세트에서 프레임 수준 AUC를 사용하여 탐지 방법을 평가한다.

실험 결과

연구 질문

• RQ1 Celeb-DF 데이터세트가 이전 DeepFake 데이터세트와 비교했을 때 시각적 품질은 어느가?
• RQ2 현 시점의 DeepFake 탐지 방법은 Celeb-DF에서 이전 데이터세트에 비해 어떻게 수행하는가?
• RQ3 최신 탐지기에서 비디오 압축이 탐지 성능에 미치는 영향은 무엇인가?

주요 결과

• Celeb-DF에는 5,639개의 DeepFake 비디오(2,000,000 프레임 이상) 및 59명의 연예인으로부터의 590개의 실제 비디오가 포함되어 있다.
• Celeb-DF 합성 파이프라인은 더 높은 시각적 품질과 더 적은 인공물을 제공하며, Mask-SSIM 점수가 더 높은 것으로 입증된다 ( Celeb-DF: 0.92 -SSIM 표 2에 명시).
• 평가된 탐지기들 가운데 Celeb-DF는 일반적으로 가장 도전적인 데이터세트로, 오래된 데이터세트에 비해 평균 프레임 수준 AUC가 더 낮다.
• 최근 방법(DSP-FWA)은 테스트된 탐지기들 중 최상위 성능을 달성하며 연구 요약에서 약 87.4%의 성능을 보였다(데이터세트 간 전체 성능).
• 압축 실험은 H.264 압축이 더 높아질수록 탐지기 성능이 저하됨을 보여주며, 다만 일부 모델(Xception 변형 등)은 비교적 강건한 것으로 남아 있다.