[논문 리뷰] Spatio-temporal Features for Generalized Detection of Deepfake Videos

Ipek Ganiyusufoglu, Minh Ngo외 3명|arXiv (Cornell University)|2020. 10. 22.

Generative Adversarial Networks and Image Synthesis참고 문헌 22인용 수 7

한 줄 요약

이 논문은 일반화된 딥페이크 영상 검출을 위해 시공간 특징을 모델링하기 위해 3차원 합성곱 신경망(3D CNNs)을 제안한다. 이는 이미지 수준의 특징이나 순차적 인코더보다 다양한 딥페이크 기법 간의 공통적인 일관성 없는 특징을 더 잘 포착함을 입증한다. 이 방법은 기존의 방법들보다 새로운 딥페이크 기법에 대한 일반화 능력에서 뚜렷한 우월성을 보이며, 특히 RNN과 2D CNN이 간과하는 국소적 시공간적 불일치를 탐지함으로써 성능을 높인다.

ABSTRACT

For deepfake detection, video-level detectors have not been explored as extensively as image-level detectors, which do not exploit temporal data. In this paper, we empirically show that existing approaches on image and sequence classifiers generalize poorly to new manipulation techniques. To this end, we propose spatio-temporal features, modeled by 3D CNNs, to extend the generalization capabilities to detect new sorts of deepfake videos. We show that spatial features learn distinct deepfake-method-specific attributes, while spatio-temporal features capture shared attributes between deepfake methods. We provide an in-depth analysis of how the sequential and spatio-temporal video encoders are utilizing temporal information using DFDC dataset arXiv:2006.07397. Thus, we unravel that our approach captures local spatio-temporal relations and inconsistencies in the deepfake videos while existing sequence encoders are indifferent to it. Through large scale experiments conducted on the FaceForensics++ arXiv:1901.08971 and Deeper Forensics arXiv:2001.03024 datasets, we show that our approach outperforms existing methods in terms of generalization capabilities.

연구 동기 및 목표

• 기존의 이미지 수준 및 순차적 딥페이크 검출기가 새로운 변형 기법에 대해 일반화 능력이 떨어지는 문제를 해결하기 위해.
• 3D CNN을 통한 시공간 모델링이 다양한 딥페이크 생성 방법 간의 검출 정확도를 향상시키는지 조사하기 위해.
• 딥페이크 영상에서 시공간 불일치를 탐지할 때 3D CNN과 RNN 간의 시간적 모델링 방식의 차이를 분석하기 위해.
• 시공간 특징이 방법에 특화된 공간적 특징과 달리 다양한 딥페이크 유형 간의 공통된 특성을 포착하는지 검증하기 위해.
• 3D CNN이 프레임 순서와 국소적 불일치에 민감한 반면, RNN은 이러한 시간적 불일치에 무관심한가를 입증하기 위해.

제안 방법

• 이 방법은 3D 커널을 사용해 공간과 시간을 동시에 고려하는 3D 합성곱 신경망(R3D)을 활용하여 영상 클립으로부터 공간적 및 시간적 표현을 함께 학습한다.
• 이미지 수준의 2D CNN(R3D)과 순차 수준의 RNN을 비교하여 영상 인코더로 사용하며, 공간적 특징 추출을 위해 EfficientNet-B3를 백본으로 사용한다.
• 모델의 강건성 평가를 위해 제어된 데이터 증강 기법을 적용: 프레임 뒤집기, 섞기, 재정렬하여 시간 순서와 시공간 상관관계에 대한 민감도를 테스트한다.
• Grad-CAM 시각화를 통해 주의 맵을 분석하고 3D CNN이 딥페이크 영상의 국소적 시공간 불일치에 집중하고 있음을 검증한다.
• 성능 및 새로운 딥페이크 기법에 대한 일반화 능력을 평가하기 위해 FF++ 및 Deeper Forensics 데이터셋에서 실험을 수행한다.
• 모델의 신뢰도와 순서 변경에 대한 민감도를 정량화하기 위해 로그 손실(log-loss)을 사용하며, 높은 손실값은 불일치 탐지 능력 향상을 의미한다.

실험 결과

연구 질문

• RQ1 3D CNN이 모델링한 시공간 특징이 이미지 수준 또는 순차적 인코더보다 새로운 딥페이크 생성 방법에 더 잘 일반화되는가?
• RQ2 딥페이크 영상에서 시간 순서와 국소적 시공간 불일치에 대해 3D CNN과 RNN은 어떻게 다를까?
• RQ3 시공간 특징은 다양한 딥페이크 방법 간의 공통된 특성을 포착하는 반면, 공간적 특징은 방법에 따라 특화되는가?
• RQ4 3D 합성곱의 계층적 처리 방식이 어떻게 화면 정렬 오류나 섞인 프레임에 대해 강건성을 제공하는가?
• RQ5 RNN은 2D CNN 백본으로부터 고수준 특징을 사용하고 있음에도 불구하고 왜 딥페이크 아티팩트를 탐지하지 못하는가?

주요 결과

• R3D 모델은 순서가 어긋나거나 섞인 시퀀스에서 RNN보다 유의미하게 낮은 로그 손실을 기록하여 시간 순서와 국소적 불일치에 강력한 민감도를 보임을 시사한다.
• R3D는 매번 두 번째 프레임을 뒤집을 경우 로그 손실이 1.5배 증가하지만, RNN은 거의 영향을 받지 않아 R3D가 시공간 상관관계에 의존함을 입증한다.
• 프레임 뒤집기 시 R3D의 예측이 진짜에서 가짜로 바뀌며, 이는 정렬이 어긋난 영역에서 활성화되기 때문이다. 이는 국소적 불일치를 탐지함을 확인한다.
• RNN은 모든 시퀀스 변경 조건에서 유사한 로그 손실을 유지하여 시간 순서와 시공간 상관관계 파괴에 대해 무관심함을 보인다.
• 2D CNN의 공간적 특징은 방법에 특화된 아티팩트를 포착하지만, 3D CNN의 시공간적 특징은 다양한 딥페이크 기법 간의 공통된 불일치를 식별한다.
• R3D는 FF++ 및 Deeper Forensics 데이터셋에서 새로운 딥페이크 기법에 대한 일반화 능력에서 2D CNN 및 RNN 기반 모델을 모두 압도한다.