[논문 리뷰] Deep Convolutional Pooling Transformer for Deepfake Detection

Tianyi Wang, Harry H. Cheng외 2명|arXiv (Cornell University)|2022. 09. 12.

Generative Adversarial Networks and Image Synthesis인용 수 12

한 줄 요약

이 논문은 지역적 특징 추출을 위해 CNN을 활용하고, 복소 풀링과 재주목 메커니즘으로 향상된 전반적 주목 메커니즘을 결합한 딥페이크 탐지용 딥 컨volution 풀링 트랜스포머(DCPT)를 제안한다. 무작위로 샘플된 프레임 대신 고품질의 키프레임을 활용함으로써, 다양한 벤치마크에서 최신 기술 수준의 성능을 달성하였으며, 얕은 모델 대비 DF-1.0에서 AUC 11.28% 향상 및 우수한 다중 데이터셋 일반화 성능을 확보하였다.

ABSTRACT

Recently, Deepfake has drawn considerable public attention due to security and privacy concerns in social media digital forensics. As the wildly spreading Deepfake videos on the Internet become more realistic, traditional detection techniques have failed in distinguishing between real and fake. Most existing deep learning methods mainly focus on local features and relations within the face image using convolutional neural networks as a backbone. However, local features and relations are insufficient for model training to learn enough general information for Deepfake detection. Therefore, the existing Deepfake detection methods have reached a bottleneck to further improve the detection performance. To address this issue, we propose a deep convolutional Transformer to incorporate the decisive image features both locally and globally. Specifically, we apply convolutional pooling and re-attention to enrich the extracted features and enhance efficacy. Moreover, we employ the barely discussed image keyframes in model training for performance improvement and visualize the feature quantity gap between the key and normal image frames caused by video compression. We finally illustrate the transferability with extensive experiments on several Deepfake benchmark datasets. The proposed solution consistently outperforms several state-of-the-art baselines on both within- and cross-dataset experiments.

연구 동기 및 목표

• 기존 딥페이크 탐지 모델이 지역적 특징과 저품질 프레임에 의존함으로써, 새로운 데이터셋에 일반화하는 데에 한계가 있음.
• 압축으로 인한 표준 영상 프레임 추출 과정에서 발생하는 이미지 품질 열화로 인해 특징의 풍부함이 제한됨.
• 현재 방법에서 미사용되거나 부족하게 활용되는 고해상도, 정보를 유지하는 키프레임을 활용하여 탐지 성능 향상.
• 복소 풀링과 재주목을 통합한 새로운 트랜스포머 아키텍처를 통해 장거리 의존성을 모델링하고 전반적 특징 학습 향상.
• 다양한 딥페이크 데이터셋 간에 강건한 이식성 확보, 특히 다중 데이터셋 평가 환경에서의 성능 검증.

제안 방법

• 영상 압축을 고려한 프레임 선택 기법을 활용해 키프레임을 추출하여 고해상도 및 잡음 없는 콘텐츠 유지.
• 얼굴 이미지에서 지역적 특징을 추출하기 위해 컨volution 신경망(CNN)의 스택을 활용.
• 차원 감소를 위해 복소 풀링을 적용하여 주요 특징을 유지하고 특징 표현력을 향상.
• 딥 네트워크에서 주목 맵의 다양성을 유지하고 주목 붕괴를 방지하기 위해 트랜스포머 인코더에 재주목 메커니즘 통합.
• 다양한 프레임 품질에 대응하기 위해 키프레임과 일반 프레임의 조합으로 모델을 훈련하여 강건성 및 일반화 능력 향상.
• 세 단계로 구성된 깊은 트랜스포머 아키텍처를 활용하여 계층적인 전역 표현을 점진적으로 학습.

실험 결과

연구 질문

• RQ1 키프레임은 고해상도와 압축 잡음 감소로 인해 무작위로 샘플된 프레임보다 딥페이크 탐지 성능을 크게 향상시킬 수 있는가?
• RQ2 트랜스포머 아키텍처에 복소 풀링과 재주목을 통합함으로써 전역 특징 학습과 탐지 정확도는 어떻게 향상되는가?
• RQ3 제안된 모델은 최신 기술 수준의 기준 모델 대비 다양한 딥페이크 데이터셋 간 일반화 성능(다중 데이터셋 성능)에서 어느 정도 향상되는가?
• RQ4 성능과 일반화 사이의 균형을 고려할 때, 특히 다중 데이터셋 평가 환경에서 최적의 모델 깊이(딥러닝 깊이)는 무엇인가?
• RQ5 각 개별 구성 요소(풀링, 투영, 재주목)는 다양한 데이터셋에서 전체 탐지 성능에 얼마나 기여하는가?

주요 결과

• 제안된 DCPT 모델은 얕은 모델(깊이 14) 대비 DFDC에서 AUC 5.8% 향상, Celeb-DF에서 7.51%, DF-1.0에서 11.28% 향상하여 깊이 24에서 최적 성능 확보.
• 깊이 24 모델이 다중 데이터셋 성능에서 최고 성능을 기록하였으며, 더 깊은 모델(깊이 32)은 DFDC, Celeb-DF, DF-1.0에서 과적합으로 인해 성능 저하를 보였다.
• 재주목 메커니즘이 다중 데이터셋 일반화에 가장 크게 기여하여, DF-1.0에서 AUC 1% 이상 향상되었고, FF++에서는 약간의 성능 향상 기록.
• 복소 풀링과 투영 모듈 각각이 FF++에서 약 3%의 AUC 향상, DF-1.0에서는 최대 4% 향상 기록하여 노이즈 조건에서도 강력한 강건성 입증.
• 키프레임과 일반 프레임의 조합으로 훈련함으로써 두 프레임 유형 모두에서 최적의 탐지 성능 유지됨을 확인하여 모델의 강건성 입증.
• 시각화 결과는 키프레임이 일반 프레임보다 더 풍부하고 구분력 있는 얼굴 특징 표현을 제공함을 확인하였으며, 특히 얼굴 기하학적 및 질감의 미세한 일관성 결여를 탐지하는 데서 유의미한 성능 향상 기록.