[논문 리뷰] CrossDF: Improving Cross-Domain Deepfake Detection with Deep Information Decomposition

Shanmin Yang, Guo, Hui외 6명|arXiv (Cornell University)|2023. 09. 30.

Digital Media Forensic Detection인용 수 6

한 줄 요약

이 논문은 주의 모듈과 상관관계 해소 학습 모듈을 사용하여 딥페이크 관련 특징을 관련 없는 정보(예: 얼굴 표정, 위조 기법 등)에서 분리하는 새로운 프레임워크인 딥 인포메이션 디컴포지션(DID)을 제안한다. 딥페이크 전용 신호에만 집중함으로써 DID는 교차 데이터셋 딥페이크 검출에서 최신 기술 수준의 성능을 달성하여, 미리 보지 못한 위조 방법에 대한 강건성과 일반화 능력을 향상시킨다.

ABSTRACT

Deepfake technology poses a significant threat to security and social trust. Although existing detection methods have shown high performance in identifying forgeries within datasets that use the same deepfake techniques for both training and testing, they suffer from sharp performance degradation when faced with cross-dataset scenarios where unseen deepfake techniques are tested. To address this challenge, we propose a Deep Information Decomposition (DID) framework to enhance the performance of Cross-dataset Deepfake Detection (CrossDF). Unlike most existing deepfake detection methods, our framework prioritizes high-level semantic features over specific visual artifacts. Specifically, it adaptively decomposes facial features into deepfake-related and irrelevant information, only using the intrinsic deepfake-related information for real/fake discrimination. Moreover, it optimizes these two kinds of information to be independent with a de-correlation learning module, thereby enhancing the model's robustness against various irrelevant information changes and generalization ability to unseen forgery methods. Our extensive experimental evaluation and comparison with existing state-of-the-art detection methods validate the effectiveness and superiority of the DID framework on cross-dataset deepfake detection.

연구 동기 및 목표

• 테스트 데이터가 알려지지 않은 위조 기법을 사용하는 교차 데이터셋 시나리오에서 기존 딥페이크 검출기의 성능 급격한 감소 문제를 해결하기 위해.
• 특정 딥페이크 생성 방법에 연결된 특정 시각적 아티팩트에 과적합되는 현재 방법의 문제를 극복하기 위해.
• 교차 데이터셋 검출을 도메인 일반화 문제로 재정의함으로써 검출기의 일반화 능력을 향상시키기 위해.
• 얼굴 특징을 딥페이크 관련 및 관련 없는 구성요소로 분해하여 도메인 이동에 대한 강건성을 향상시키기 위해.
• 딥페이크 및 비딥페이크 특징 간의 독립성을 보장하는 데코릴레이션 학습 모듈을 개발하여 사전 분포 지식이 필요 없도록 하기 위해.

제안 방법

• 입력 이미지에서 초기 얼굴 특징을 추출하기 위해 백본 네트워크(예: EfficientNet-v2-L)를 사용한다.
• 두 개의 주의 모듈을 도입한다: 딥페이크 주의(A_df)는 딥페이크 관련 특징을 식별하고, 도메인 주의(A_dom)는 위조 기법 특유의 정보를 캡처한다.
• 특징 맵을 딥페이크 정보(I_df)와 기타 정보(I_os)로 분해하며, I_df는 실수/가짜 분류에 전적으로 사용된다.
• I_df와 I_os 간의 상관관계를 최소화하는 데코릴레이션 학습 모듈(T)을 도입하여 분리 구조를 강화한다.
• 일반화 능력을 향상시키기 위해 이진 교차 엔트로피(BCE)와 ROC 곡선 아래 면적(AUC)을 조합한 하이브리드 손실을 사용해 모델을 훈련시킨다.
• 위조 기법 관련 신호가 비딥페이크 구성요소로 분리되도록 도메인 분류 헤드를 사용해 감독한다.

실험 결과

연구 질문

• RQ1 특정 딥페이크 신호를 관련 없는 정보(예: 얼굴 표정, 도메인 특유의 아티팩트 등)에서 분리함으로써 교차 데이터셋 검출의 강건성이 향상되는가?
• RQ2 사전 분포 가정 없이도 딥페이크 및 비딥페이크 특징 간의 독립성을 강제하는 데코릴레이션 학습 모듈의 효과는 어떠한가?
• RQ3 저수준의 시각적 아티팩트보다 고수준의 의미적 특징에 집중할 경우, 새로운 딥페이크 기법에 대한 일반화 능력 향상 정도는 어느 정도인가?
• RQ4 DID 프레임워크의 개별 구성요소(A_df, A_dom, T)가 전체 검출 성능에 기여하는 정도는 어떠한가?
• RQ5 제안된 프레임워크가 도전적인 교차 데이터셋 딥페이크 검출 벤치마크에서 최신 기술 수준의 성능을 달성할 수 있는가?

주요 결과

• DID 프레임워크는 교차 데이터셋 딥페이크 검출에서 AUC 0.779를 달성하여 기존 최신 기술 수준의 방법들을 능가한다.
• 도메인 주의 모듈(A_dom)을 제거하면 AUC가 2.05% 감소(0.763으로)하여, 위조 기법 관련 신호를 캡처하는 데 핵심적인 역할을 함을 입증한다.
• 데코릴레이션 학습 모듈(T)을 제거하면 더 큰 성능 저하가 발생하여 AUC가 2.57% 감소(0.759로)하여, 분리 구조를 위한 핵심 기여를 함을 시사한다.
• 도메인 분류 모듈은 평균 정확도 0.91을 기록하며, FaceSwap의 경우 최고 정확도 0.99를 기록하여 위조 기법 정보의 효과적인 분리가 이루어졌음을 확인한다.
• Grad-CAM 시각화 결과, 딥페이크 주의는 변화하지 않는 위조 특유의 신호에 집중하는 반면, 도메인 주의는 영역 특유의 아티팩트를 타겟으로 하여 분리 구조의 타당성을 검증한다.
• T-SNE 시각화 결과, DID가 학습한 딥페이크 특징은 임베딩 공간에서 잘 분리되어 있는 반면, 표준 백본 네트워크의 특징은 진짜와 가짜 샘플이 혼합되어 있음을 확인한다.