[논문 리뷰] Recurrent-Convolution Approach to DeepFake Detection - State-Of-Art Results on FaceForensics++

Ekraam Sabir, Jiaxin Cheng외 4명|arXiv (Cornell University)|2019. 05. 02.

Digital Media Forensic Detection참고 문헌 21인용 수 6

한 줄 요약

이 논문은 영상 스트림의 시간적 동적 특성을 활용하여 Deepfake, Face2Face, FaceSwap 변조를 탐지하는 순환-합성곱 신경망 딥러닝 모델을 제안한다. 최적화된 순환-합성곱 아키텍처와 도메인 특화 얼굴 전처리 기법을 결합함으로써, 기존 방법 대비 FaceForensics++에서 정확도를 최대 4.55% 향상시켰다.

ABSTRACT

The spread of misinformation through synthetically generated yet realistic images and videos has become a significant problem, calling for robust manipulation detection methods. Despite the predominant effort of detecting face manipulation in still images, less attention has been paid to the identification of tampered faces in videos by taking advantage of the temporal information present in the stream. Recurrent convolutional models are a class of deep learning models which have proven effective at exploiting the temporal information from image streams across domains. We thereby distill the best strategy for combining variations in these models along with domain specific face preprocessing techniques through extensive experimentation to obtain state-of-the-art performance on publicly available video-based facial manipulation benchmarks. Specifically, we attempt to detect Deepfake, Face2Face and FaceSwap tampered faces in video streams. Evaluation is performed on the recently introduced FaceForensics++ dataset, improving the previous state-of-the-art by up to 4.55% in accuracy.

연구 동기 및 목표

• 딥페이크, Face2Face, FaceSwap와 같은 영상 기반 얼굴 변조로 인한 오해의 확산이라는 증가하는 위협을 해결한다.
• 정적 이미지 기반 방법을 초월해 영상 시퀀스의 시간 정보를 활용하여 탐지 성능을 향상시킨다.
• 영상 수준의 변조 탐지에 적합한 순환 및 합성곱 신경망 구성 요소의 최적 통합을 도모한다.
• 아키텍처 혁신과 도메인 특화 전처리 기법의 조합을 통해 벤치마크 데이터셋에서 탐지 성능을 향상시킨다.
• FaceForensics++ 데이터셋에서 최신 기술 수준의 성능을 달성하여 영상 기반 딥페이크 탐지의 새로운 성능 기준을 설정한다.

제안 방법

• 영상 프레임 간의 시공간적 의존성을 모델링하기 위해 순환-합성곱 신경망 아키텍처를 사용한다.
• 특정 도메인에 맞는 얼굴 전처리 기법을 적용하여 특징 표현과 모델의 강건성을 향상시킨다.
• 순환 및 합성곱 구성 요소의 변형을 체계적으로 실험하여 최적의 구성 요소 조합을 규명한다.
• 다양한 영상 기반 얼굴 변조 유형을 포함한 FaceForensics++ 데이터셋에서 모델을 훈련하고 평가한다.
• 프레임에서의 공간적 특징과 시퀀스 간의 시간적 패턴을 동시에 학습하기 위해 엔드 투 엔드 훈련을 수행한다.
• 최종 탐지 정확도를 극대화하기 위해 광범위한 추상화 연구를 통해 하이퍼파ram터와 모델 아키텍처를 최적화한다.

실험 결과

연구 질문

• RQ1 순환-합성곱 모델은 영상 스트림의 시간적 정보를 얼마나 효과적으로 활용하여 얼굴 변조를 탐지할 수 있는가?
• RQ2 영상 기반 딥페이크 탐지에 있어 순환 및 합성곱 구성 요소의 최적 조합은 무엇인가?
• RQ3 도메인 특화 전처리 기법은 영상 벤치마크에서 딥페이크 탐지 모델의 성능에 어떤 영향을 미치는가?
• RQ4 아키텍처 개선과 하이퍼파ram터 튜닝을 통해 FaceForensics++ 데이터셋에서 탐지 정확도는 얼마나 향상될 수 있는가?
• RQ5 제안된 방법은 기존 최신 기술 수준의 접근법을 초월할 수 있는가?

주요 결과

• 제안된 순환-합성곱 모델은 기존 최신 기술 수준의 성능 대비 FaceForensics++ 벤치마크에서 정확도를 4.55% 향상시켰다.
• 순환층을 통한 시간적 모델링은 순수하게 공간적 합성곱 특징에 의존하는 모델 대비 탐지 성능을 크게 향상시켰다.
• 특정 순환 아키텍처와 맞춤형 얼굴 전처리 파이프라인의 조합이 최적의 성능을 달성한다.
• 딥페이크, Face2Face, FaceSwap을 포함한 다양한 변조 유형에 대해 잘 일반화된다.
• 광범위한 추상화 연구를 통해 아키텍처 선택과 전처리 기법이 최종 탐지 정확도에 상당한 영향을 미친다는 것이 확인되었다.
• 모델는 FaceForensics++ 데이터셋에서 새로운 성능 기준을 설정하였으며, 영상 기반 딥페이크 탐지에서 시간적 모델링의 효과성을 입증하였다.