[논문 리뷰] When Handcrafted Features and Deep Features Meet Mismatched Training and Test Sets for Deepfake Detection

Ying Xu, Sule Yildirim Yayilgan|arXiv (Cornell University)|2022. 09. 27.

Face recognition and analysis인용 수 4

한 줄 요약

이 논문은 FaceForensics++ 데이터셋에서 수작업 특징(SIFT, HoG)과 딥 러닝 특징(Xception, CNN+RNN)을 활용한 딥페이크 탐지 성능을 평가하며, 훈련 및 테스트 세트가 동일한 경우 딥 모델이 99% 이상의 정확도를 달성하지만, 데이터 세트 간 불일치가 발생할 경우 성능이 급격히 떨어지는 것을 확인하여, 보편적인 딥페이크 탐지 시스템을 구축하는 데 있어 핵심적인 과제를 드러낸다.

ABSTRACT

The accelerated growth in synthetic visual media generation and manipulation has now reached the point of raising significant concerns and posing enormous intimidations towards society. There is an imperative need for automatic detection networks towards false digital content and avoid the spread of dangerous artificial information to contend with this threat. In this paper, we utilize and compare two kinds of handcrafted features(SIFT and HoG) and two kinds of deep features(Xception and CNN+RNN) for the deepfake detection task. We also check the performance of these features when there are mismatches between training sets and test sets. Evaluation is performed on the famous FaceForensics++ dataset, which contains four sub-datasets, Deepfakes, Face2Face, FaceSwap and NeuralTextures. The best results are from Xception, where the accuracy could surpass over 99\% when the training and test set are both from the same sub-dataset. In comparison, the results drop dramatically when the training set mismatches the test set. This phenomenon reveals the challenge of creating a universal deepfake detection system.

연구 동기 및 목표

• 훈련 및 테스트 세트 간 분포 변화가 발생할 경우 수작업 특징과 딥 러닝 특징의 딥페이크 탐지에 대한 내성에 대해 조사한다.
• SIFT, HoG, Xception, CNN+RNN의 성능을 FaceForensics++ 벤치마크에서 다양한 데이터 분포 조건 하에서 비교한다.
• 다양한 변조 방법(예: Deepfakes, Face2Face, FaceSwap, NeuralTextures) 간 일반화할 때 현재 딥페이크 탐지 모델의 한계를 규명한다.
• 다양한 합성 미디어 생성 기법을 처리할 수 있는 보편적인 딥페이크 탐지 시스템의 가능성 여부를 평가한다.
• 도메인 이동 조건 하에서 특징의 특정성과 일반화 능력 간의 상충 관계를 탐색한다.

제안 방법

• 비디오 프레임의 잘라낸 얼굴 영역에서 SIFT 및 방향성 기울기 히스토그램(HoG)을 사용해 수작업 특징을 추출하였다.
• 이진 딥페이크 탐지용 서포트 벡터 머신(SVM) 분류기를 수작업 특징에 대해 훈련시켰다.
• 사전 훈련된 Xception 및 CNN+RNN 아키텍처를 활용해 동일한 얼굴 영역에서 딥 러닝 특징을 추출하였다.
• 훈련 및 테스트 세트가 동일한지 여부에 따라 두 가지 설정에서 모델 성능을 평가하였다: 매칭된 경우(동일한 서브세트를 훈련 및 테스트에 사용)와 매칭되지 않은 경우(다른 서브세트를 훈련 및 테스트에 사용).
• FaceForensics++ 데이터셋을 사용하였으며, 이는 Deepfakes, Face2Face, FaceSwap, NeuralTextures의 네 개의 서브세트를 포함하며, 각각 원본 및 변조 영상 1000건씩 포함한다.
• 훈련 세트 75% / 테스트 세트 25%의 분할 비율을 사용하였으며, 훈련 세트 내부에서는 80%를 훈련, 20%를 검증용으로 분할하였다.

실험 결과

연구 질문

• RQ1 매칭된 훈련-테스트 세트에서 수작업 특징(SIFT, HoG)과 딥 러닝 특징(Xception, CNN+RNN) 간 딥페이크 탐지 정확도의 차이를 어떻게 비교할 수 있는가?
• RQ2 훈련 및 테스트 세트가 서로 다른 변조 서브세트에서 추출된 경우 딥페이크 탐지 모델의 성능 저하 정도는 어떠한가?
• RQ3 Xception과 같은 딥 모델이 매칭된 데이터에서는 뛰어난 성능을 보이지만, 매칭되지 않은 데이터에서는 왜 극적으로 실패하는가?
• RQ4 수작업 특징(SIFT, HoG)이 딥 러닝 특징보다 다양한 딥페이크 생성 방법 간 일반화 능력에서 얼마나 우월한가?
• RQ5 도메인 이동 조건 하에서 현재 특징 추출 및 분류 기법을 활용해 보편적인 딥페이크 탐지 시스템을 구축할 수 있는가?

주요 결과

• Xception은 훈련 및 테스트 세트가 동일한 서브세트에서 유래한 경우 99% 이상의 정확도를 기록하여 내부 도메인 탐지에 강력한 성능을 보였다.
• Xception의 성능은 매칭되지 않은 테스트 세트에서 급격히 떨어졌으며, 대부분의 경우 재현율(recall)이 5.00% 미만으로 떨어져 다양한 변조 유형 간 일반화 능력이 열악함을 보였다.
• ResNet-152+LSTM는 매칭된 데이터에서는 88.53%의 정확도를 기록했지만, 매칭되지 않은 데이터에서는 평균 약 55%의 정확도에 머물러 있어 제한된 내성성을 보였다.
• 수작업 특징(SIFT, HoG)은 매칭되지 않은 세트 간에도 일관된 성능을 보였으며, 평균 정확도가 74.26%에서 56%로 떨어지는 등 딥 러닝 특징보다 더 우수한 일반화 능력을 보였다.
• Xception의 매칭되지 않은 테스트 세트에서의 재현율은 대부분의 경우 5% 미만이었으며, 예상치 못한 변조 방법으로 생성된 딥페이크를 탐지하지 못하는 근본적인 실패를 보였다.
• 본 연구는 핵심 과제를 드러내며, 현재 딥 러닝 모델이 특정 생성 방법에 매우 특화되어 있으며 새로운 방법에 대해 일반화하지 못함으로써 보편적인 탐지의 실현 가능성을 훼손하고 있음을 시사한다.