[논문 리뷰] UCF: Uncovering Common Features for Generalizable Deepfake Detection

Zhiyuan Yan, Yong Zhang외 2명|arXiv (Cornell University)|2023. 04. 27.

Digital Media Forensic Detection인용 수 4

한 줄 요약

이 논문은 다양한 딥페이크 방법에서 공통되는 위조 특징을 드러내어 일반화 성능을 향상시키는 디센트레일먼트 프레임워크 UCF를 제안한다. 다중 작업 학습, 조건부 디코더, 그리고 콘트라스트 레귤러라이제이션을 통해 모델은 방법에 의존하지 않는 특징을 분리하여, 미사용된 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성하며 DFD에서 최대 94.5% AUC, 벤치마크 평균 86.6% AUC를 기록한다.

ABSTRACT

Deepfake detection remains a challenging task due to the difficulty of generalizing to new types of forgeries. This problem primarily stems from the overfitting of existing detection methods to forgery-irrelevant features and method-specific patterns. The latter has been rarely studied and not well addressed by previous works. This paper presents a novel approach to address the two types of overfitting issues by uncovering common forgery features. Specifically, we first propose a disentanglement framework that decomposes image information into three distinct components: forgery-irrelevant, method-specific forgery, and common forgery features. To ensure the decoupling of method-specific and common forgery features, a multi-task learning strategy is employed, including a multi-class classification that predicts the category of the forgery method and a binary classification that distinguishes the real from the fake. Additionally, a conditional decoder is designed to utilize forgery features as a condition along with forgery-irrelevant features to generate reconstructed images. Furthermore, a contrastive regularization technique is proposed to encourage the disentanglement of the common and specific forgery features. Ultimately, we only utilize the common forgery features for the purpose of generalizable deepfake detection. Extensive evaluations demonstrate that our framework can perform superior generalization than current state-of-the-art methods.

연구 동기 및 목표

• 위조 관련이 아닌 특징과 방법에 따라 달라지는 특징에 과적합되는 것에 기인한 딥페이크 탐지의 일반화 문제를 해결하기 위해.
• 이미지 특징을 콘텐츠, 방법에 특화된 위조, 공통 위조 성분으로 분리하여 강건한 탐지 성능을 확보하기 위해.
• 다양한 백본과 미사용된 위조 유형에 대해 일반화 성능을 향상시키는 플러그 앤 플레이 프레임워크를 개발하기 위해.

제안 방법

• 이중 실수/가짜 분류와 다중 클래스 위조 방법 분류를 동시에 수행하는 다중 작업 학습 프레임워크로, 콘텐츠 특징과 위조 특징을 분리한다.
• 콘텐츠 특징과 위조 특징을 조건으로 사용해 이미지를 재구성하는 조건부 디코더로, 정확한 분리가 보장된다.
• 방법에 특화된 특징과 공통 위조 특징 간의 분리를 명시적으로 장려하는 콘트라스트 레귤러라이제이션 손실.
• 최종 탐지기는 공통 위조 특징만 사용하며, 콘텐츠 특징과 방법에 특화된 패atters를 기각함으로써 과적합을 방지한다.
• Xception, ConvNeXt, ResNet, EfficientNet와 같은 다양한 백본과 호환되며, 플러그 앤 플레이 성능을 입증한다.
• t-SNE 시각화 결과, 공통 특징은 다양한 방법 간의 공통 위조 패턴을 잘 포착하는 반면, 콘텐츠 특징은 실수/가짜 레이블과 무관하게 유지됨을 확인할 수 있다.

실험 결과

연구 질문

• RQ1 디센트레일먼트 프레임워크는 위조와 관련이 없는 콘텐츠 특징을 방법에 특화된 위조 특징과 공통 위조 특징으로 효과적으로 분리할 수 있는가?
• RQ2 오직 공통 위조 특징만 고려할 경우, 새로운 딥페이크 데이터셋에서 더 뛰어난 일반화 성능을 달성할 수 있는가?
• RQ3 제안된 콘트라스트 레귤러라이제이션은 특정 위조 패턴과 공통 위조 패턴 간의 분리를 어떻게 향상시키는가?
• RQ4 이 프레임워크는 다양한 백본 아키텍처에서 높은 성능을 유지할 수 있는가?
• RQ5 조건부 디코더는 특징의 분리와 재구성 정확도를 얼마나 향상시키는가?

주요 결과

• UCF 프레임워크는 데이터셋 평균 85.2% AUC를 기록하며, 베이스라인 Xception 모델(평균 68.3% AUC)보다 뚜렷이 뛰어난 성능을 보였다.
• DFD 데이터셋에서 94.5% AUC를 기록하여, 새로운 위조 유형에 대한 강력한 일반화 능력을 입증했다.
• ConvNeXt 백본을 사용할 경우 평균 AUC가 86.6%로 향상되어, 다양한 아키텍처 간의 효과성을 확인했다.
• t-SNE 시각화 결과, 공통 위조 특징은 다양한 위조 방법 간의 공통 패턴을 잘 포착하는 반면, 콘텐츠 특징은 실수/가짜 레이블과 무관하게 유지됨을 확인했다.
• 제거 실험 결과, 모든 위조 특징을 사용하는 것보다 공통 특징만 사용할 경우 성능이 더 뛰어나, 방법에 특화된 패턴이 일반화 성능을 떨어뜨린다는 점을 입증했다.
• 프레임워크는 플러그 앤 플레이 성능을 보였으며, ResNet과 EfficientNet 백본에 대해 아키텍처 수정 없이도 탐지 성능 향상을 이룬다.