[논문 리뷰] AV-Lip-Sync+: Leveraging AV-HuBERT to Exploit Multimodal Inconsistency for Deepfake Detection of Frontal Face Videos

Sahibzada Adil Shahzad, Ammarah Hashmi외 3명|arXiv (Cornell University)|2023. 11. 05.

Digital Media Forensic Detection인용 수 4

한 줄 요약

이 논문은 AV-HuBERT와 ViViT에서 유도한 자기지도 학습 기반의 시각 청각 표현을 활용하여 말과 입술 움직임 간의 일관성 없음을 탐지하는 최신 기술의 오디오-시각 딥패이크 검출 모델인 AV-Lip-Sync+를 제안한다. 다중모달 동기화 특징과 시공간적 얼굴 아티팩트를 결합함으로써, FakeAVCeleb 및 DeepfakeTIMIT 데이터셋에서 새로운 최고 성능을 달성하였으며, DeepfakeTIMIT에서 고품질(HQ)과 저품질(LQ) 버전의 AUC 점수는 각각 0.9998과 0.9996을 기록하였다.

ABSTRACT

Multimodal manipulations (also known as audio-visual deepfakes) make it difficult for unimodal deepfake detectors to detect forgeries in multimedia content. To avoid the spread of false propaganda and fake news, timely detection is crucial. The damage to either modality (i.e., visual or audio) can only be discovered through multimodal models that can exploit both pieces of information simultaneously. However, previous methods mainly adopt unimodal video forensics and use supervised pre-training for forgery detection. This study proposes a new method based on a multimodal self-supervised-learning (SSL) feature extractor to exploit inconsistency between audio and visual modalities for multimodal video forgery detection. We use the transformer-based SSL pre-trained Audio-Visual HuBERT (AV-HuBERT) model as a visual and acoustic feature extractor and a multi-scale temporal convolutional neural network to capture the temporal correlation between the audio and visual modalities. Since AV-HuBERT only extracts visual features from the lip region, we also adopt another transformer-based video model to exploit facial features and capture spatial and temporal artifacts caused during the deepfake generation process. Experimental results show that our model outperforms all existing models and achieves new state-of-the-art performance on the FakeAVCeleb and DeepfakeTIMIT datasets.

연구 동기 및 목표

• 오디오 및 시각 모odal이 모두 조작된 다중모달 딥패이크를 탐지하는 데 도전하는 것 — 단일모달 검출기는 이를 탐지하지 못함.
• 특히 입술 동기화 오류를 포함한 시각 청각 불일치를 전면 얼굴 영상에서의 딥패이크 탐지에 대한 서명으로 활용하는 것.
• 자기지도 학습 기반의 시각 청각 표현과 시공간적 얼굴 특징 학습을 융합하여 다양한 딥패이크 생성 기법에 대한 강건성을 향상시키는 것.
• 오디오-시각 일관성과 얼굴의 시공간적 이상을 공동으로 모델링하여, FakeAVCeleb 및 DeepfakeTIMIT와 같은 벤치마크 데이터셋에서 기존 최고 성능 모델을 초월하는 것.

제안 방법

• 모델은 말과 입술 움직임 간의 동기화를 캡처하기 위해 AV-HuBERT를 사전 학습된 다중모달 자기지도 학습 특징 추출기로 사용한다.
• 다중 척도 시간 순환 신경망(TCN)을 적용하여 오디오 및 시각 모달 간의 시간적 상관관계를 모델링한다.
• 별도의 비전 트랜스포머(ViViT)를 활용하여 입술 영역 외의 공간적 및 시간적 얼굴 특징을 추출함으로써 비입술 기반 아티팩트 탐지 능력을 향상시킨다.
• AV-HuBERT(입술 수준)와 ViViT(전체 얼굴)에서 유도된 특징을 융합하여 오디오-시각 일관성과 얼굴의 시공간 이상 현상을 공동으로 모델링한다.
• 모델은 엔드 투 엔드 또는 고정된 프론트엔드를 사용하여 미세조정되며, 아블레이션 연구를 통해 각 구성 요소의 기여도를 검증한다.
• 최종 분류 이전에 다중모달 특징를 투영하고 통합하기 위해 선형 레이어를 사용한다.

실험 결과

연구 질문

• RQ1 AV-HuBERT에서 유도한 자기지도 학습 기반의 시각 청각 표현은 딥패이크 영상에서 입술 동기화 불일치를 효과적으로 탐지할 수 있는가?
• RQ2 ViViT를 통해 전체 얼굴 특징를 통합함으로써 입술 영역이 최소한으로 조작된 경우 탐지 성능이 향상되는가?
• RQ3 제안된 오디오-시각 동기화와 시공간적 얼굴 아티팩트의 융합은 기존의 단일모달 및 다중모달 딥패이크 검출기와 비교해 어떻게 성능을 뛰어넘는가?
• RQ4 AV-Lip-Sync+는 벤치마크 데이터셋에서 다양한 딥패이크 생성 방법에 대해 얼마나 일반화되는가?

주요 결과

• AV-Lip-Sync+는 DeepfakeTIMIT의 고품질(HQ) 버전에서 기존 모든 모델을 능가하는 최고 성능의 AUC 0.9998을 달성하였다.
• DeepfakeTIMIT의 저품질(LQ) 버전에서는 AUC 0.9996을 기록하여 시각적 열화에 대한 강건성을 입증하였다.
• 특징 추출기의 공동 학습을 수행한 모델(AV-Lip-Sync+ with FE)은 LQ에서 AUC 0.9996, HQ에서 AUC 0.9998을 기록하여 강력한 일반화 능력을 보였다.
• 아블레이션 연구 결과, 미세조정된 선형 레이어를 갖춘 고정된 프론트엔드가 뛰어난 성능을 내며 효과적인 특징 적응을 가능하게 함을 확인하였다.
• FakeAVCeleb 데이터셋에서도 AV-Lip-Sync+는 새로운 최고 성능을 달성하였으며, 모든 평가 설정에서 AUC 점수가 0.96를 초과하였다.
• 전체 얼굴 특징 추출을 위한 ViViT의 통합은 특히 미세하거나 비입술 영역 조작이 이루어진 경우 입술 영역 분석을 넘어서 탐지 성능을 크게 향상시켰다.