[논문 리뷰] Spatiotemporal Inconsistency Learning for DeepFake Video Detection

Zhihao Gu, Yang Chen외 5명|arXiv (Cornell University)|2021. 09. 04.

Face recognition and analysis참고 문헌 38인용 수 7

한 줄 요약

이 논문은 딥페이크 영상 검출을 위한 새로운 공간-시간 비일관성 학습(STIL) 블록을 제안한다. 이 블록은 수평 및 수직 시간 차분 연산을 사용하여 프레임 내의 공간적 비일관성과 인접 프레임 간의 시간적 비일관성을 명시적으로 모델링한다. STIL 블록은 공간 비일관성 모듈(SIM), 수직 방향 모델링을 갖춘 시간 비일관성 모듈(TIM), 그리고 특징 융합을 위한 정보 보완 모듈(ISM)을 통합하여, 프레임 기반 또는 표준 영상 기반 방법이 놓칠 수 있는 위조 흔적을 효과적으로 포착함으로써 여러 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

The rapid development of facial manipulation techniques has aroused public concerns in recent years. Following the success of deep learning, existing methods always formulate DeepFake video detection as a binary classification problem and develop frame-based and video-based solutions. However, little attention has been paid to capturing the spatial-temporal inconsistency in forged videos. To address this issue, we term this task as a Spatial-Temporal Inconsistency Learning (STIL) process and instantiate it into a novel STIL block, which consists of a Spatial Inconsistency Module (SIM), a Temporal Inconsistency Module (TIM), and an Information Supplement Module (ISM). Specifically, we present a novel temporal modeling paradigm in TIM by exploiting the temporal difference over adjacent frames along with both horizontal and vertical directions. And the ISM simultaneously utilizes the spatial information from SIM and temporal information from TIM to establish a more comprehensive spatial-temporal representation. Moreover, our STIL block is flexible and could be plugged into existing 2D CNNs. Extensive experiments and visualizations are presented to demonstrate the effectiveness of our method against the state-of-the-art competitors.

연구 동기 및 목표

• 기존 딥페이크 검출 방법에서 공간적 및 시간적 비일관성의 명시적 모델링 부족 문제를 해결하기 위해.
• 시각적으로 자연스럽지 않은 움직임, 예를 들어 얼굴 진동이나 비연속적 운동과 같은 위조 흔적을 프레임 간에 포착하여 검출 성능을 향상시키기 위해.
• 2D CNN과 호환되는 유연하고 플러그인 방식의 모듈을 설계하여 공간적 및 시간적 특징 학습을 모두 향상시키기 위해.
• 수평 및 수직 방향의 수직적 시간 차분 연산이 위조 영상에서 시간적 비일관성을 탐지하는 데 효과적인지 검증하기 위해.
• 공간적 및 시간적 비일관성의 통합 모델링이 더 강력하고 종합적인 위조 표현을 가능하게 하는지 입증하기 위해.

제안 방법

• 각 프레임 내의 국소적 이미지 수준의 아티팩트를 탐지하기 위해 공간 비일관성 모듈(SIM)을 통합한 새로운 STIL 블록을 제안한다.
• 인접 프레임 간에 수평 및 수직 방향으로 시간 차분을 계산하여 운동 불일치를 탐지하는 시간 비일관성 모듈(TIM)을 도입한다.
• SIM이 공간 비일관성을 처리하고 TIM이 시간 비일관성을 병렬로 처리하는 이중 스트림 아키텍처를 사용한다.
• SIM과 TIM의 특징를 융합하고 강화하기 위해 정보 보완 모듈(ISM)을 활용하여 더 богат한 공간-시간 표현을 가능하게 한다.
• 주의 맵을 해석하고 모델이 위조 영역에 집중하고 있는지 검증하기 위해 기울기 기반 시각화(Grad-CAM)를 적용한다.
• 프레임 수준의 애너테이션 없이 영상 수준의 레이블만을 사용하는 학습 파라다임을 적용하여 엔드 투 엔드 학습을 가능하게 한다.

실험 결과

연구 질문

• RQ1 공간적 및 시간적 비일관성의 명시적 모델링이 기존의 프레임 기반 또는 표준 영상 기반 방법을 초월하여 딥페이크 검출 성능을 향상시킬 수 있는가?
• RQ2 수평 및 수직 방향의 수직적 시간 차분 연산을 사용하면 위조 영상에서 시간적 비일관성을 더 잘 탐지할 수 있는가?
• RQ3 ISM를 통한 공간적 및 시간적 특징 융합이 전체 검출 성능에 어떻게 기여하는가?
• RQ4 STIL 블록은 DeepFake, FaceSwap, Face2Face, NeuralTextures와 같은 다양한 얼굴 조작 기법에 일반화될 수 있는가?
• RQ5 각 구성 요소(SIM, TIM, ISM)가 최종 검출 성능에 기여하는 정도는 어떻게 되며, 다양한 융합 전략은 결과에 어떤 영향을 미치는가?

주요 결과

• STIL 블록은 네 가지 주요 딥페이크 검출 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성하며, 기존의 프레임 기반 및 영상 기반 방법을 모두 능가한다.
• 제거 분석 결과, TIM에서 수평 및 수직 방향의 시간 차분 연산을 모두 사용할 경우 단일 방향 또는 다른 융합 전략에 비해 우수한 성능을 내는 것으로 확인되었다.
• ISM를 통한 공간적 및 시간적 특징 융합은 검출 정확도를 크게 향상시켜, 통합된 공간-시간 모델링의 유용성을 입증한다.
• 시각화 결과는 STIL 블록이 다양한 조작 유형에서 위조 영역을 효과적으로 국소화하며, 주의 맵이 알려진 위조 패턴과 잘 일치함을 보여준다.
• NeuralTextures나 Face2Face처럼 일부 얼굴 영역만 조작하는 기법들에 대해서도 일관된 성능 향상이 관찰되었다.
• TIM의 수평 및 수직 방향 주의 맵을 단순히 평균내는 것이 시그모이드 함수를 적용하기 전에 더해주는 것보다 더 좋은 성능을 내며, 최적의 융합 전략임을 시사한다.