[논문 리뷰] Celeb-DF: A New Dataset for DeepFake Forensics

Yuezun Li, Xin Yang외 3명|arXiv (Cornell University)|2019. 09. 27.

Digital Media Forensic Detection참고 문헌 11인용 수 89

한 줄 요약

이 논문은 시각적 잡음 요소를 줄인 개선된 합성 알고리즘을 사용해 생성한 고품질 DeepFake 영상 데이터셋인 Celeb-DF를 소개한다. 이는 검출 알고리즘의 보다 현실적인 평가를 가능하게 한다. 이 데이터셋은 기존의 DeepFake 검출 방법을 평가하며 성능 격차를 드러내며, 실제 환경에서의 강건하고 잡음 인식 능력을 갖춘 검출 모델 개발의 필요성을 부각시킨다.

ABSTRACT

AI-synthesized face swapping videos, commonly known as the DeepFakes, have become an emerging problem recently. Correspondingly, there is an increasing interest in developing algorithms that can detect them. However, existing dataset of DeepFake videos suffer from low visual quality and abundant artifacts that do not reflect the reality of DeepFake videos circulated on the Internet. In this work, we present a new DeepFake dataset, Celeb-DF, for the development and evaluation of DeepFake detection algorithms. The Celeb-DF dataset is generated using a refined synthesis algorithm that reduces the visual artifacts observed in existing datasets. Based on the Celeb-DF dataset, we also benchmark existing DeepFake detection algorithms.

연구 동기 및 목표

• 기존 DeepFake 데이터셋이 낮은 시각적 품질과 과도한 잡음 요소를 악용하는 한계를 해결하기 위해.
• 온라인에서 유통되는 실제 세계의 DeepFake 영상 시각적 품질을 더 잘 반영하는 새로운 데이터셋을 개발하기 위해.
• 더 현실적인 조건에서 기존 DeepFake 검출 알고리즘을 평가하기 위한 벤치마킹을 제공하기 위해.
• 더 높은 품질과 더 적은 합성 잡음 요소를 갖춘 데이터셋을 제공함으로써 보다 강건한 검출 모델 개발을 가능하게 하기 위해.

제안 방법

• Celeb-DF 데이터셋은 이전 방법 대비 시각적 잡음 요소를 최소화한 개선된 얼굴 교환 합성 알고리즘을 사용해 생성된다.
• 최신 기술의 신경망을 활용해 고해상도 연예인 영상 클립을 포함하고 있다.
• 얼굴 세부 정보와 운동 일관성을 유지하기 위해 영상가가 신중하게 선별되었으며, 비자연스러운 왜곡을 줄였다.
• 정확한 검출 모델 평가를 위해 실제 영상과 가짜 영상 쌍을 포함하도록 데이터셋을 구성했다.
• 기존 DeepFake 검출 알고리즘을 새 데이터셋에서 평가하기 위한 평가 프로토콜을 수립했다.
• 재현 가능한 DeepFake 포렌식 연구를 지원하기 위해 데이터셋을 공개적으로 배포했다.

실험 결과

연구 질문

• RQ1 기존 데이터셋에 포함된 DeepFake 영상의 시각적 품질은 온라인에서 실제로 발견되는 실제 예시와 어떻게 비교되는가?
• RQ2 현재 데이터셋에 포함된 시각적 잡음 요소가 DeepFake 검출 모델 평가에 얼마나 잘못된 인식을 유도하는가?
• RQ3 Celeb-DF와 같은 고해상도 데이터셋에서 기존 검출 알고리즘이 낮은 품질의 벤치마크 대비 어떻게 성능을 내는가?
• RQ4 개선된 합성 방법이 실제 세계의 분포를 더 잘 반영하는 더 현실적인 DeepFake 영상을 생성할 수 있는가?
• RQ5 고해상도 데이터셋에서 평가했을 때 현재 검출 모델의 성능 격차는 무엇인가?

주요 결과

• 이전 데이터셋에 비해 Celeb-DF 데이터셋은 시각적 잡음 요소가 크게 감소해 DeepFake 영상의 더 현실적인 표현을 제공한다.
• 기존 DeepFake 검출 모델의 성능이 Celeb-DF에서 떨어지는 것으로 나타나, 이전의 벤치마크가 모델의 강건성을 과도하게 평가했을 가능성이 있다.
• 개선된 합성 방법은 얼굴 세부 정보와 운동 일관성을 성공적으로 유지하여 생성된 영상의 현실감을 향상시켰다.
• 이 데이터셋은 잡음에 의존하는 검출 전략이 고해상도 DeepFake에서는 덜 효과적이라는 점을 드러내며, 더 일반화된 모델 개발의 필요성을 강조한다.
• Celeb-DF에서의 벤치마킹은 특히 미세한 얼굴 왜곡과 고해상도 콘텐츠 처리에 어려움을 겪는 현재 검출 알고리즘의 한계를 드러낸다.
• Celeb-DF의 배포로 향후 DeepFake 검출 방법에 대한 더 신뢰할 수 있고 현실적인 평가가 가능해졌다.