[논문 리뷰] FReTAL: Generalizing Deepfake Detection using Knowledge Distillation and Representation Learning

Minha Kim, Shahroz Tariq외 1명|arXiv (Cornell University)|2021. 05. 28.

Generative Adversarial Networks and Image Synthesis참고 문헌 70인용 수 5

한 줄 요약

FReTAL은 사전 훈련된 교사 모델에서 학생 모델로 특징을 전이함으로써 원천 도메인 데이터가 필요 없이 치명적인 잊음( catastrophic forgetting)을 방지하는 지식 정련 및 표현 학습 기반 도메인 적응 프레임워크를 제안한다. 이는 저해상도 딥페이크에서 최대 86.97%의 정확도를 달성하며, 제로샷 및 피니테이닝 설정에서 기존 기준 모델들을 능가한다.

ABSTRACT

As GAN-based video and image manipulation technologies become more sophisticated and easily accessible, there is an urgent need for effective deepfake detection technologies. Moreover, various deepfake generation techniques have emerged over the past few years. While many deepfake detection methods have been proposed, their performance suffers from new types of deepfake methods on which they are not sufficiently trained. To detect new types of deepfakes, the model should learn from additional data without losing its prior knowledge about deepfakes (catastrophic forgetting), especially when new deepfakes are significantly different. In this work, we employ the Representation Learning (ReL) and Knowledge Distillation (KD) paradigms to introduce a transfer learning-based Feature Representation Transfer Adaptation Learning (FReTAL) method. We use FReTAL to perform domain adaptation tasks on new deepfake datasets while minimizing catastrophic forgetting. Our student model can quickly adapt to new types of deepfake by distilling knowledge from a pre-trained teacher model and applying transfer learning without using source domain data during domain adaptation. Through experiments on FaceForensics++ datasets, we demonstrate that FReTAL outperforms all baselines on the domain adaptation task with up to 86.97% accuracy on low-quality deepfakes.

연구 동기 및 목표

• 새로운, 미사용된 딥페이크 생성 방법에 대해 딥페이크 탐지의 일반화 능력을 해결한다.
• 새로운 딥페이크 유형이 등장할 때 도메인 적응 과정에서 치명적인 잊음을 완화한다.
• 소셜 미디어에서 흔한 저해상도 딥페이크를 효과적으로 탐지하기 위해 고해상도 훈련 데이터에 의존하지 않는다.
• 최소한의 타겟 도메인 데이터를 사용하여 새로운 딥페이크 데이터셋에 신속히 적응할 수 있는 전이 학습 프레임워크를 개발한다.
• 실제 시나리오에서 흔한 저해상도 딥페이크에 대해 강건성과 성능을 확보한다.

제안 방법

• 학생 모델이 교사의 소프트 레이블과 중간 특징 표현에서 학습하는 교사-학생 정련 프레임워크를 활용한다.
• 원천 도메인과 타겟 도메인의 특징을 정렬함으로써 도메인 간 전이 능력을 향상시키기 위해 특징 기반 표현 학습(FSL)을 통합한다.
• 원천 도메인 데이터에 접근할 수 없더라도 교사에서 학생으로 지식을 전이하기 위해 지식 정련 손실(KD 손실)을 적용한다.
• 특징 추출을 위해 사전 훈련된 Xception 백본을 사용하고, 학생 모델을 오직 10개의 타겟 도메인 샘플에서 미세조정한다.
• 정련과 표현 정렬을 통해 교사 모델의 지식을 유지함으로써 치명적인 잊음을 최소화한다.
• 타겟 레이블에 대한 교차 엔트로피 손실과 교사 출력에 대한 KD 손실을 모두 사용하여 학생 모델을 훈련함으로써 일반화 능력을 향상시킨다.

실험 결과

연구 질문

• RQ1 지식 정련과 표현 학습이 원천 도메인 데이터 접근 없이 딥페이크 탐지의 도메인 적응에 공동으로 기여할 수 있는가?
• RQ2 FReTAL은 제로샷 및 피니테이닝 기준 모델 대비 저해상도 딥페이크 탐지에서 얼마나 효과적인가?
• RQ3 새로운 딥페이크 생성 방법에 적응할 때 FReTAL이 치명적인 잊음을 어느 정도 방지하는가?
• RQ4 FReTAL을 사용할 경우, 오직 10개의 타겟 도메인 샘플만으로도 학생 모델이 높은 성능을 달성할 수 있는가?
• RQ5 FSL과 KD 손실의 조합이 표준 KD 또는 피니테이닝보다 탐지 정확도를 크게 향상시키는가?

주요 결과

• FReTAL은 저해상도 딥페이크 탐지에서 최대 86.97%의 정확도를 달성하며, 제로샷 및 피니테이닝 기준 모델들을 크게 능가한다.
• 사전 훈련된 교사 모델에서 지식을 효과적으로 전이함으로써 원천 도메인 데이터를 사용하지 않아도 치명적인 잊음을 줄인다.
• Xception + FReTAL은 Xception + 단순 KD보다 성능이 뛰어나, 특징 기반 표현 학습 구성 요소의 필요성을 입증한다.
• 오직 10개의 타겟 도메인 샘플만으로도 FReTAL이 뛰어난 성능을 달성하여 높은 데이터 효율성을 보여준다.
• 특히 대부분의 기존 모델이 실패하는 저해상도 환경에서 새로운 딥페이크 유형에 대해 잘 일반화된다.
• 다양한 경우에서 저해상도 딥페이크 탐지 정확도가 90% 이하에 머무르는 점을 감안할 때, 초해상도 등의 데이터 증강 기법을 통해 향상 여지가 있음을 시사한다.