[논문 리뷰] How Generalizable are Deepfake Image Detectors? An Empirical Study

Boquan Li, Jun Sun외 2명|arXiv (Cornell University)|2023. 08. 08.

Digital Media Forensic DetectionComputer Science인용 수 3

한 줄 요약

이 논문은 딥페이크 검출기의 일반화 능력을 처음으로 실증적으로 연구하며, 여섯 개의 데이터셋, 다섯 개인 검출 모델, 두 가지 증강 방법을 평가한다. 연구 결과, 검출기는 제로샷 설정에서 메서드별로 특화된, 분류에 기여하지 않는 특징을 학습하기 때문에 일반화에 실패하는 것으로 나타났지만, 본문과 비본문 데이터셋 모두에서 일관되게 기여하는 유니버설한 뉴런을 규명하였다. 이는 원인 기반 모델 설계를 통해 제로샷 일반화 가능한 검출 기술로 나아갈 수 있음을 시사한다.

ABSTRACT

Deepfakes are becoming increasingly credible, posing a significant threat given their potential to facilitate fraud or bypass access control systems. This has motivated the development of deepfake detection methods, in which deep learning models are trained to distinguish between real and synthesized footage. Unfortunately, existing detectors struggle to generalize to deepfakes from datasets they were not trained on, but little work has been done to examine why or how this limitation can be addressed. Especially, those single-modality deepfake images reveal little available forgery evidence, posing greater challenges than detecting deepfake videos. In this work, we present the first empirical study on the generalizability of deepfake detectors, an essential goal for detectors to stay one step ahead of attackers. Our study utilizes six deepfake datasets, five deepfake image detection methods, and two model augmentation approaches, confirming that detectors do not generalize in zero-shot settings. Additionally, we find that detectors are learning unwanted properties specific to synthesis methods and struggling to extract discriminative features, limiting their ability to generalize. Finally, we find that there are neurons universally contributing to detection across seen and unseen datasets, suggesting a possible path towards zero-shot generalizability.

연구 동기 및 목표

• 미래의 검출 방법 평가를 위한 기준이 되는 공개 저장소를 제공한다.

제안 방법

• Celeb-DF와 Face2Face를 포함한 여섯 개인 딥페이크 데이터셋에서 다섯 개인 딥페이크 검출 모델(MesoNet, MesoInception, ShallowNet, XceptionNet, EfficientNet)을 실증적으로 평가한다.
• 일관성과 신뢰성을 확보하기 위해 표준화된 초모수와 원본 학습 프로토콜을 사용해 검출기를 훈련하고 검증한다.
• 활성도 기반 해석 가능성과 원인 분석(간섭 기반 뉴런 제거)을 통해 다양한 데이터셋에서 검출에 기여하는 뉴런을 규명한다.
• 특징 수준 분석을 수행하여 검출기가 분류에 기여하는 특징를 추출하는지, 아니면 메서드별로 특화된 임의의 특징에 의존하는지를 평가한다.
• 일관성과 신뢰성을 확보하기 위해 표준화된 초모수와 원본 학습 프로토콜을 사용해 검출기를 훈련하고 검증한다.
• 공개된 GitHub 저장소에 훈련된 모델, 데이터셋, 코드를 제공하여 향후 연구의 평가 기준으로 활용한다.

실험 결과

연구 질문

• RQ1 현재의 딥페이크 검출기는 제로샷 설정에서 얼마나 많은 unseen 데이터셋으로 일반화되는가?
• RQ2 딥페이크 검출기는 일반화를 방해하는 불필요한, 합성 기법에 특화된 성질을 학습하는가?
• RQ3 검출기가 추출하는 특징들이 다양한 딥페이크 유형 간의 일반화를 지원할 정도로 분류에 기여하는가?
• RQ4 본문과 비본문 데이터셋 모두에서 일관되게 검출에 기여하는 뉴런을 식별할 수 있는가?

주요 결과

• 기존의 딥페이크 검출기는 제로샷 설정에서 뚜렷한 일반화 능력을 보이지 않으며, unseen 데이터셋에서 성능이 크게 떨어진다.
• 검출기는 특정 합성 기법에 종속된, 분류에 기여하지 않는 특징을 학습함으로써 일반화 능력이 제한된다.
• 특징 수준 분석 결과, 검출기는 제한 없이, 분류에 기여하지 않는 특징를 추출함을 확인하였으며, 이는 강력한 일반화를 지원하지 못한다.
• 원인 분석을 통해 본문과 비본문 데이터셋 모두에서 일관되게 검출에 기여하는 뉴런의 집합을 규명하였으며, 이는 제로샷 일반화 가능성으로 나아갈 수 있는 길을 제시한다.
• 이러한 유니버설 뉴런의 존재는 향후 검출기가 이러한 특징에 집중하도록 설계할 수 있음을 시사한다. 이는 일반화 능력을 향상시킬 수 있다.
• 본 연구는 훈련된 검출기와 데이터셋을 포함한 공개 저장소를 제공하며, 향후 딥페이크 검출 방법 평가를 위한 표준 기준을 제공한다.