[논문 리뷰] Multimodal Graph Learning for Deepfake Detection

Zhiyuan Yan, Peng Sun외 5명|arXiv (Cornell University)|2022. 09. 12.

Emotion and Mood Recognition인용 수 4

한 줄 요약

이 논문은 공간, 주파수, 지표점, 시간적 특징을 그래프 신경망(GNN)과 적응형 융합 모듈을 통해 통합하는 새로운 딥페이크 탐지 프레임워크인 다중모달 그래프 학습(Multimodal Graph Learning, MGL)을 제안한다. 얼굴 지표점과 프레임 수준의 일관성 없는 부분을 그래프로 모델링하고, 적응형 게이팅을 갖춘 양방향 교차모달 트랜스포머를 사용함으로써, FF++, CelebDF, DFD 벤치마크에서 최신 기술 수준의 일반화 능력과 강건성을 확보한다. 기존 방법들보다 새로운 조작 유형을 탐지하는 데서 더 우수하고, 외부 편향에도 강건하다.

ABSTRACT

Existing deepfake detectors face several challenges in achieving robustness and generalization. One of the primary reasons is their limited ability to extract relevant information from forgery videos, especially in the presence of various artifacts such as spatial, frequency, temporal, and landmark mismatches. Current detectors rely on pixel-level features that are easily affected by unknown disturbances or facial landmarks that do not provide sufficient information. Furthermore, most detectors cannot utilize information from multiple domains for detection, leading to limited effectiveness in identifying deepfake videos. To address these limitations, we propose a novel framework, namely Multimodal Graph Learning (MGL) that leverages information from multiple modalities using two GNNs and several multimodal fusion modules. At the frame level, we employ a bi-directional cross-modal transformer and an adaptive gating mechanism to combine the features from the spatial and frequency domains with the geometric-enhanced landmark features captured by a GNN. At the video level, we use a Graph Attention Network (GAT) to represent each frame in a video as a node in a graph and encode temporal information into the edges of the graph to extract temporal inconsistency between frames. Our proposed method aims to effectively identify and utilize distinguishing features for deepfake detection. We evaluate the effectiveness of our method through extensive experiments on widely-used benchmarks and demonstrate that our method outperforms the state-of-the-art detectors in terms of generalization ability and robustness against unknown disturbances.

연구 동기 및 목표

• 단일 모odal, 픽셀 수준의 특징에 의존하는 기존 딥페이크 탐지기의 일반화 및 강건성 한계를 해결하기 위해.
• 다중모달, 그래프 기반 표현을 통해 메서드 전용 아티팩트나 조작과 무관한 텍스처에 과적합되는 문제를 해결하기 위해.
• 지표점 간 기하학적 관계와 프레임 간 시간적 일관성 없는 부분을 그래프 신경망을 통해 모델링하여 탐지 성능을 향상시키기 위해.
• 콘텐츠 관련성에 기반해 공간적 및 주파수적 특징을 동적으로 가중치 조정하는 적응형 융합 메커니즘을 개발하기 위해.
• 국소적(프레임 수준) 및 전반적(비디오 수준) 조작 패턴 인식에 그래프 기반 모델링의 효과를 입증하기 위해.

제안 방법

• 프레임 수준에서 공간적 및 주파수 도메인 특징을 융합하기 위해, 양방향 교차모달 트랜스포머와 적응형 게이팅을 사용하는 공간-주파수 융합(Spatial-Frequency Fusion, SFF) 모듈을 활용한다.
• 얼굴 지표점을 그래프로 표현하여 기하학적 종속성을 캐릭터라이즈하는 데 목적이 있는 지표점 그래프 학습(Landmark Graph Learning, LGL) 모듈은 그래프 어텐션 네트워크(GAT)를 사용한다.
• 각 프레임을 노드로 하고, 학습된 어텐션 가중치를 통해 시간적 일관성 없는 부분을 엣지로 표현하는 비디오 수준의 그래프를 구성하는 시간 그래프 학습(Temporal Graph Learning, TGL) 모듈을 설계한다.
• FM(주파수 모듈), LGL, TGL, SFF 모듈의 특징을 통합하여 최종 분류를 위한 통합 표현으로 통합한다.
• 지표점 기하학적 구조와 시간적 동역학을 각각 처리하는 두 개의 GNN을 사용함으로써 국소적 및 전반적 조작 패턴을 함께 모델링할 수 있도록 한다.
• 적응형 게이팅 및 교차어텐션 메커니즘을 통해 동적 특징 가중치 조정이 가능해져, 다양한 아티팩트 분포에 대한 강건성이 향상된다.

실험 결과

연구 질문

• RQ1 단순한 좌표 순서를 넘어서, 얼굴 지표점에 대한 그래프 기반 모델링이 딥페이크 탐지 성능 향상에 기여할 수 있는가?
• RQ2 학습된 엣지 표현을 갖춘 그래프 기반 접근 방식으로 프레임 간 시간적 일관성 없는 부분을 효과적으로 포착할 수 있는가?
• RQ3 공간적 및 주파수적 특징의 적응형 융합이 딥페이크 탐지에서 고정형 또는 단방향 융합 전략보다 우월한가?
• RQ4 다중모달 그래프 학습 프레임워크는 다양한 딥페이크 조작 방법과 새로운 데이터셋에 대한 일반화 능력을 향상시킬 수 있는가?
• RQ5 공간, 주파수, 지표점, 시간적 특징을 모두 통합함으로써, 조명 변화나 노이즈와 같은 외부 편향에 대한 강건성이 얼마나 향상되는가?

주요 결과

• 제안된 MGL 프레임워크는 FF++, CelebDF, DFD 벤치마크에서 최신 기술 수준의 성능을 달성하여, 새로운 조작 유형에 대한 뛰어난 일반화 능력을 입증하였다.
• 양방향 어텐션과 적응형 게이팅을 갖춘 SFF 모듈은 선형 덧셈 및 M2TR 융합 방식보다 우수한 성능을 보였으며, 동적 특징 가중치 조정을 통해 탐지 정확도가 향상됨을 입증하였다.
• LGL 모듈은 지표점 간 기하학적 관계를 모델링함으로써 성능 향상에 기여하였으며, 기존의 좌표 기반 지표점 인코딩 기반 베이스라인보다 뛰어난 성능을 보였다.
• TGL 모듈은 프레임 간 시간적 일관성 없는 부분을 효과적으로 포착하여, 프레임 수준의 조작 아티팩트 탐지 성능 향상에 기여하였다.
• 광범위한 아블레이션 연구를 통해 FM, LGL, TGL, SFF 모듈 모두가 최종 탐지 성능 향상에 기여하는 것으로 확인되었다.
• 모델은 조명 변화나 노이즈와 같은 외부 편향에 대해 강력한 강건성을 보이며, 기존 베이스라인 모델 대비 더 높은 내성 강도를 확보함을 시사한다.