[논문 리뷰] Unmasking DeepFakes with simple Features

Ricard Durall, Margret Keuper외 2명|arXiv (Cornell University)|2019. 11. 02.

Digital Media Forensic Detection참고 문헌 27인용 수 174

한 줄 요약

페이퍼는 간단한 주파수 도메인 특징(azimuthal averaging을 통한 DFT의 1D 파워 스펙트럼)과 경량 분류기를 사용하여 고해상도/중해상도에서 매우 높은 정확도와 비지도 설정에서 강건한 성능을 달성합니다.

ABSTRACT

Deep generative models have recently achieved impressive results for many real-world applications, successfully generating high-resolution and diverse samples from complex datasets. Due to this improvement, fake digital contents have proliferated growing concern and spreading distrust in image content, leading to an urgent need for automated ways to detect these AI-generated fake images. Despite the fact that many face editing algorithms seem to produce realistic human faces, upon closer examination, they do exhibit artifacts in certain domains which are often hidden to the naked eye. In this work, we present a simple way to detect such fake face images - so-called DeepFakes. Our method is based on a classical frequency domain analysis followed by basic classifier. Compared to previous systems, which need to be fed with large amounts of labeled data, our approach showed very good results using only a few annotated training samples and even achieved good accuracies in fully unsupervised scenarios. For the evaluation on high resolution face images, we combined several public datasets of real and fake faces into a new benchmark: Faces-HQ. Given such high-resolution images, our approach reaches a perfect classification accuracy of 100% when it is trained on as little as 20 annotated samples. In a second experiment, in the evaluation of the medium-resolution images of the CelebA dataset, our method achieves 100% accuracy supervised and 96% in an unsupervised setting. Finally, evaluating a low-resolution video sequences of the FaceForensics++ dataset, our method achieves 91% accuracy detecting manipulated videos. Source Code: https://github.com/cc-hpc-itwm/DeepFakeDetection

연구 동기 및 목표

• AI로 생성된 가짜 얼굴을 탐지하기 위한 경량화되고 데이터 효율적인 접근법의 동기를 제시한다.
• 대용량의 라벨링된 데이터 셋 없이도 실제와 가짜 이미지를 구분하기 위해 주파수 도메인 아티팩트를 활용한다.
• 평가를 위한 고해상도 실제/가짜 얼굴 데이터셋인 Faces-HQ를 소개한다.
• 이미지와 비디오를 포함한 고/중/저해상도 데이터에서의 강건함을 보여준다.

제안 방법

• 회색조 얼굴 이미지에 이산 푸리에 변환을 계산한다.
• FFT 파워 스펙트럼의 방위 평균을 계산하여 1D 특징 벡터(722 특징)를 얻는다.
• 1D 파워 스펙트럼 특징에서 간단한 분류기(SVM with RBF, 로지스틱 회귀, 그리고 K-평균)를 학습시킨다.
• 여러 데이터셋(Faces-HQ, CelebA, FaceForensics++)에서 감독학습과 비감독학습 설정 하에 평가한다.
• 비디오 데이터의 경우 분류 전에 1D 스펙트ार를 고정된 크기로 보간한다.

실험 결과

연구 질문

• RQ1 해상도에 걸친 GAN 생성 얼굴의 아티팩트를 간단한 주파수 도메인 특징으로 밝혀낼 수 있는가?
• RQ2 1D 파워 스펙트럼 특징에서 경량 분류기의 데이터 효율성과 정확도는 어떠한가?
• RQ3 메서드는 이미지 및 비디오에서 고/중/저해상도 데이터에 대해 기존의 심층 학습 탐지기와 비교하여 어떤 성능을 보이는가?

주요 결과

• Faces-HQ에서의 고해상도 평가에서 20개 안팎의 주석 샘플로도 100% 정확도를 달성한다.
• 중해상도 CelebA에서 감독 학습은 100% 정확도, 비감독 설정은 96%에 도달한다.
• 저해상도 FaceForensics++ 비디오 평가에서 프레임 기반 탐지에 대해 90% 정확도를 달성한다.
• SVM과 로지스틱 회귀는 충분한 샘플 크기에서 일관되게 거의 완벽한 성능을 달성한다; K-Means는 더 나쁘지만 일부 설정에서 여전히 경쟁력이 있다.
• 주파수 성분을 하위 구간으로 묶으면 특정 고주파 대역이 구분을 주도한다(예: 100–300 대역에서 일부 설정에서 0.86–1.00 정확도까지).
• 방법은 대규모 라벨링 학습에 의존하기보다 주파수 도메인 아티팩트에 의존하며 데이터 소스와 GAN 유형에 걸쳐 강건함을 유지한다.