[논문 리뷰] Deepfake Detection Scheme Based on Vision Transformer and Distillation

Young Jin Heo, Young Ju Choi외 2명|arXiv (Cornell University)|2021. 04. 03.

Digital Media Forensic Detection참고 문헌 45인용 수 41

한 줄 요약

본 논문은 patches 임베딩을 CNN 특징과 융합하고 EfficientNet에서의 증류를 활용하여 DFDC 전체 데이터셋에서 강건성과 정확성을 향상시키는 Vision Transformer 기반 딥페이크 탐지기를 제안하며, 앙상블 없이 이전 SOTA보다 높은 AUC 및 F1을 달성했다.

ABSTRACT

Deepfake is the manipulated video made with a generative deep learning technique such as Generative Adversarial Networks (GANs) or Auto Encoder that anyone can utilize. Recently, with the increase of Deepfake videos, some classifiers consisting of the convolutional neural network that can distinguish fake videos as well as deepfake datasets have been actively created. However, the previous studies based on the CNN structure have the problem of not only overfitting, but also considerable misjudging fake video as real ones. In this paper, we propose a Vision Transformer model with distillation methodology for detecting fake videos. We design that a CNN features and patch-based positioning model learns to interact with all positions to find the artifact region for solving false negative problem. Through comparative analysis on Deepfake Detection (DFDC) Dataset, we verify that the proposed scheme with patch embedding as input outperforms the state-of-the-art using the combined CNN features. Without ensemble technique, our model obtains 0.978 of AUC and 91.9 of f1 score, while previous SOTA model yields 0.972 of AUC and 90.6 of f1 score on the same condition.

연구 동기 및 목표

• CNN 기반 방법의 과적합 속에서 강건한 딥페이크 탐지의 동기를 제시한다.
• 패치 간의 글로벌 맥락과 특이점을 포착하기 위해 Vision Transformer를 활용한다.
• 조작된 영역 탐지를 개선하기 위해 패치 임베딩과 CNN 특징을 통합한다.
• 강력한 교사(EfficientNet-B7)로부터의 증류를 고용하여 과적합을 줄이고 일반화 특성을 향상시킨다.

제안 방법

• 입력 프레임을 패치로 분할하고 패치 임베딩을 얻는다.
• 패치 임베딩을 EfficientNet의 CNN 특징과 결합하여 입력 토큰을 형성한다.
• 클래스 토큰 및 증류 토큰을 추가하고 Transformer 인코더(MSA + GELU MLP)로 처리한다.
• 학습 중에 교사 모델이 증류 토큰을 안내하는 증류 메커니즘을 사용한다.
• 클래스와 증류 출력 모두의 BCE를 균형 있게 구성하는 결합 손실로 학습한다 (λ = 0.5).
• DFDC에서의 프리트레이닝 및 패치 크기 32, 임베딩 차원 1024; 16개의 어텐션 헤드와 24개의 Transformer 레이어를 사용한다.

실험 결과

연구 질문

• RQ1 패치 임베딩과 CNN 특징 융합을 갖춘 Vision Transformer가 앙상블 방법 없이 DFDC 전체 데이터셋에서 CNN 기반 탐지기보다 더 잘 성능을 발휘할 수 있는가?
• RQ2 EfficientNet-B7으로부터의 증류가 Transformer 기반 탐지기의 강건성을 향상시키고 과적합을 줄이는가?
• RQ3 제안된 방법이 같은 학습/테스트 조건에서 AUC와 F1에서 이전 SOTA와 어떻게 비교되는가?

주요 결과

• DFDC 전체 데이터셋에서 ROC-AUC 0.978을 달성, SOTA 0.972보다 높다.
• 동일 임계값(0.55)에서 F1 점수 91.9를 달성, SOTA 90.6보다 높다.
• 모델은 위조 영상에 대해 더 나은 구분력을 보여주며, 검증상 위조 손실은 더 낮고 실제 손실은 비슷하다는 증거로 강건성을 보인다.
• 테스팅에서 증류 토큰이 클래스 토큰보다 성능이 좋았으며 탐지 향상에 기여한다.