[논문 리뷰] Detecting Deepfake by Creating Spatio-Temporal Regularity Disruption

Jiazhi Guan, Hang Zhou외 4명|arXiv (Cornell University)|2022. 07. 21.

Generative Adversarial Networks and Image Synthesis인용 수 6

한 줄 요약

이 논문은 실제 영상에 내재된 시공간 규칙성의 붕괴를 드러내기 위해 합성 가짜 영상을 생성하는 새로운 딥페이크 검출 방법을 제안한다. 이는 플러그-앤플레이(Plug-and-Play) 방식의 가짜 영상 생성기와 시공간 강화(Ste) 블록을 사용하며, 실제 가짜 데이터를 사용하지 않고도 최신 기술 수준(SOTA)의 성능을 달성하고 일반화 능력도 효과적으로 확보한다.

ABSTRACT

Despite encouraging progress in deepfake detection, generalization to unseen forgery types remains a significant challenge due to the limited forgery clues explored during training. In contrast, we notice a common phenomenon in deepfake: fake video creation inevitably disrupts the statistical regularity in original videos. Inspired by this observation, we propose to boost the generalization of deepfake detection by distinguishing the "regularity disruption" that does not appear in real videos. Specifically, by carefully examining the spatial and temporal properties, we propose to disrupt a real video through a Pseudo-fake Generator and create a wide range of pseudo-fake videos for training. Such practice allows us to achieve deepfake detection without using fake videos and improves the generalization ability in a simple and efficient manner. To jointly capture the spatial and temporal disruptions, we propose a Spatio-Temporal Enhancement block to learn the regularity disruption across space and time on our self-created videos. Through comprehensive experiments, our method exhibits excellent performance on several datasets.

연구 동기 및 목표

• 시각적 결함이 아닌 잠재적인 통계적 규칙성 붕괴를 식별함으로써 딥페이크 검출의 일반화 갭을 해소한다.
• 실제 가짜 데이터를 사용하지 않고도 다양한 실감 나는 가짜 영상 생성을 위한 데이터 증강 전략을 개발한다.
• 실제 규칙성 붕괴를 모방하는 합성 데이터로 훈련하여 다양한 새로운 유형의 위조 영상에 대한 모델의 강건성을 향상시킨다.
• 새로운 시공간 강화(Ste) 블록을 통해 공간적 및 시간적 비규칙성을 동시에 모델링하여 더 나은 특징 학습을 달성한다.

제안 방법

• 가짜 영상 생성기는 광학적, 기하학적, 주파수 도메인 편집을 무작위 파rameter로 적용하여 공간적 및 시간적 규칙성을 붕괴시키는 방식으로 합성 가짜 영상 생성.
• 공간적 붕괴는 얼굴 교환 및 재조합 잔여물과 유사한 아티팩트를 시뮬레이션하면서도 정체성와 운동을 유지하는 블렌딩-이후-편집 파이프라인을 통해 유도.
• 시간적 붕괴는 프레임를 무작위 파rameter로 독립적으로 처리하여 자연스러운 영상 연속성을 파괴함으로써 달성.
• 시공간 강화(Ste) 블록은 채널별 시간적 컨볼루션과 자가 어텐션을 조합하여 시공간 비규칙성을 동시에 모델링.
• ResNet-34 기반 모델의 잔차 블록 이전에 Ste 블록을 삽입하여 패치 수준의 특징 학습을 향상시킴.
• 기존 검출 모델과 호환되며, 다양한 아키텍처에서 성능 향상을 이끌 수 있는 플러그-앤플레이 모듈로 기능함.

실험 결과

연구 질문

• RQ1 실제 가짜 데이터 없이도 규칙성 붕괴를 모방하는 합성 가짜 영상이 딥페이크 검출의 일반화 능력을 향상시킬 수 있는가?
• RQ2 시공간 비규칙성을 동시에 모델링하는 접근 방식이 영상 위조로 인한 미세한 비규칙성을 효과적으로 포착할 수 있는가?
• RQ3 제안된 가짜 영상 생성기가 다양한 딥페이크 검출 모델 및 아키텍처에 일반화되는가?
• RQ4 기존의 시공간 기반 모델 대비 시공간 강화(Ste) 블록이 검출 성능 향상에 얼마나 기여하는가?
• RQ5 규칙성 붕괴를 가이드로 삼아 얼굴 및 배경 영역에 대한 글로벌 어텐션을 적용하면 모델의 일반화 능력이 향상되는가?

주요 결과

• 어려운 Deepwild 데이터셋에서 10.67%의 AUC 향상을 달성하여 강력한 교차 데이터셋 일반화 능력을 입증.
• 단순한 베이스라인인 Xception 모델도 가짜 영상 데이터로 훈련하면 최신 기술 수준의 성능를 확보하며, 모델 복잡도는 약 2350만 파라미터로 감소.
• Xception, Swin Transformer, TSM-R34 등 테스트된 모든 모델이 가짜 영상 데이터로 훈련할 경우 일관된 성능 향상을 보이며, 이는 이식 가능성(transferability)을 확인.
• FSh 및 CDF 데이터셋에서 Ste 블록 적용으로 평균 AUC가 88.00%에서 94.66%로 향상되어 TSM-R34 및 SlowFast-R50 기반 모델을 초월.
• CAM 시각화 결과, 가짜 영상 데이터로 훈련된 모델은 국소적인 얼굴 특징이 아닌 전반적인 규칙성 패턴에 주목함으로써 강건성이 향상됨.
• 제거 실험 결과, 가짜 영상 생성기에서 광학적, 기하학적, 주파수 도메인에서 다양한 편집 방법을 적용함으로써 검출 성능 향상이 뚜렷하게 향상됨.