[논문 리뷰] TALL: Thumbnail Layout for Deepfake Video Detection

Yuting Xu, Jian Liang외 4명|arXiv (Cornell University)|2023. 07. 14.

Generative Adversarial Networks and Image SynthesisComputer Science인용 수 3

한 줄 요약

이 논문은 영상 클립을 고정 레이아웃 썸네일으로 변환하여 시공간적 의존성을 유지하는 모델에 종속되지 않는 방법인 Thumbnail Layout (TALL)을 제안한다. TALL를 기반으로 한 Swin Transformer 기반 모델인 TALL-Swin은 도전적인 크로스데이터셋 벤치마크 FaceForensics++ → Celeb-DF에서 90.79% AUC를 기록하며, 계산 비용을 최소화하면서도 이전 방법들을 능가한다.

ABSTRACT

The growing threats of deepfakes to society and cybersecurity have raised enormous public concerns, and increasing efforts have been devoted to this critical topic of deepfake video detection. Existing video methods achieve good performance but are computationally intensive. This paper introduces a simple yet effective strategy named Thumbnail Layout (TALL), which transforms a video clip into a pre-defined layout to realize the preservation of spatial and temporal dependencies. Specifically, consecutive frames are masked in a fixed position in each frame to improve generalization, then resized to sub-images and rearranged into a pre-defined layout as the thumbnail. TALL is model-agnostic and extremely simple by only modifying a few lines of code. Inspired by the success of vision transformers, we incorporate TALL into Swin Transformer, forming an efficient and effective method TALL-Swin. Extensive experiments on intra-dataset and cross-dataset validate the validity and superiority of TALL and SOTA TALL-Swin. TALL-Swin achieves 90.79$\%$ AUC on the challenging cross-dataset task, FaceForensics++ $ o$ Celeb-DF. The code is available at https://github.com/rainy-xu/TALL4Deepfake.

연구 동기 및 목표

• 기존의 영상 기반 딥페이크 탐지 방법의 높은 계산 비용을 해결하면서도 강력한 일반화 성능을 유지하고자 한다.
• 추가적인 파라미터나 계산 비용 없이도 이미지 기반 백본에 시간적 모델링을 단순하게 통합할 수 있는 방법을 탐색하고자 한다.
• 특히 크로스데이터셋 일반화 설정에서 다양한 딥페이크 데이터셋에 걸쳐 탐지 성능의 강건성을 향상시키고자 한다.
• 딥페이크의 시공간적 일관성 없는 특징들이 고정 레이아웃 썸네일 표현을 통해 효과적으로 포착될 수 있음을 검증하고자 한다.

제안 방법

• 일련의 영상 프레임을 고정된 위치에서 마스킹하여 일반화 성능을 향상시키고 특정 영역에 대한 과적합을 방지한다.
• 각 프레임을 하위 이미지로 리사이징하고 사전 정의된 썸네일 레이아웃에 배열하여 공간적 및 시간적 구조를 유지한다.
• 이 방법은 모델에 종속되지 않으며, 단순한 코드 수정만으로도 어떤 이미지 백본과도 통합 가능하다.
• TALL는 스위니 트랜스포머와 결합되어 TALL-Swin을 형성하며, 자기주의 기반의 자기주의 메커니즘을 활용해 효과적인 시공간 특징 학습을 수행한다.
• 새로운 데이터 증강 전략은 썸네일의 네 개의 하위 이미지에 마스크를 적용하여 모델의 일반화 성능을 향상시킨다.
• 창문 크기와 프레임 순서를 변별하여 성능과 시간적 모델링 능력을 최적화한다.

실험 결과

연구 질문

• RQ1 영상 클립의 단순하고 고정된 레이아웃 변환 방식이 딥페이크 탐지에 있어 시공간적 일관성 없는 특징을 유지할 수 있는가?
• RQ2 표준 이미지 기반 방법에 비해 TALL은 예측 불가능한 딥페이크 데이터셋 간 일반화 성능을 향상시키는가?
• RQ3 백본 아키텍처의 선택이 TALL의 성능, 특히 시간적 모델링 측면에서 어떻게 영향을 미치는가?
• RQ4 마스크 배치, 하위 이미지 크기, 썸네일 순서의 최적 설정은 탐지 정확도를 극대화하는 데 어떤가?
• RQ5 TALL은 3D-CNN 및 영상 트랜스포머에 비해 상당히 낮은 FLOPs로 SOTA 성능을 달성할 수 있는가?

주요 결과

• TALL-Swin은 크로스데이터셋 벤치마크 FaceForensics++ → Celeb-DF에서 90.79% AUC를 기록하며 이전 최고 성능 방법들을 능가한다.
• 썸네일 내에서 프레임 순서를 정방향으로 배치한 모델이 가장 우수한 성능을 보이며, 시간적 의존성에 대한 효과적인 학습이 이루어졌음을 시사한다.
• 제안된 마스크 증강 전략은 표준 Cutout에 비해 1.46% 향상되고, Mixup+CutMix에 비해 1.02% 향상된 성능을 기록한다.
• 2×2 창 분할과 함께 하위 이미지 크기 112×112가 최적의 성능과 효율성을 제공한다.
• TALL는 3D-CNN 및 영상 트랜스포머와 유사한 정확도-비용 트레이드오프를 달성하면서도 상당히 낮은 FLOPs를 기록한다.
• Celeb-DF, DFDC, DeeperForensics를 포함한 여러 데이터셋에서 잘 일반화되며 강력한 강건성을 입증한다.