[논문 리뷰] Towards the Detection of Diffusion Model Deepfakes

Jonas Ricker, Simon Damm외 2명|arXiv (Cornell University)|2022. 10. 26.

Digital Media Forensic Detection인용 수 25

한 줄 요약

본 논문은 사전 학습된 GAN 탐지기가 확산 모델(DM) 딥페이크를 감지하는 데 어려움을 겪지만, DM으로 생성된 이미지로 탐지기를 재훈련하면 거의 완벽한 탐지 성능을 얻고 GAN에 일반화된다는 것을 보여준다; DM 이미지는 특히 고주파 영역에서 더 적은 왜곡(아티팩트)을 보이며 이는 학습 목표 때문이다.

ABSTRACT

In the course of the past few years, diffusion models (DMs) have reached an unprecedented level of visual quality. However, relatively little attention has been paid to the detection of DM-generated images, which is critical to prevent adverse impacts on our society. In contrast, generative adversarial networks (GANs), have been extensively studied from a forensic perspective. In this work, we therefore take the natural next step to evaluate whether previous methods can be used to detect images generated by DMs. Our experiments yield two key findings: (1) state-of-the-art GAN detectors are unable to reliably distinguish real from DM-generated images, but (2) re-training them on DM-generated images allows for almost perfect detection, which remarkably even generalizes to GANs. Together with a feature space analysis, our results lead to the hypothesis that DMs produce fewer detectable artifacts and are thus more difficult to detect compared to GANs. One possible reason for this is the absence of grid-like frequency artifacts in DM-generated images, which are a known weakness of GANs. However, we make the interesting observation that diffusion models tend to underestimate high frequencies, which we attribute to the learning objective.

연구 동기 및 목표

• state-of-the-art GAN 탐지기가 실제 이미지와 DM 생성 이미지를 구분할 수 있는지 평가한다.
• DM 생성 이미지로 재훈련된 탐지기의 일반화 능력을 여러 모델에서 평가한다.
• DM 생성 이미지의 특징 표현 및 주파수 영역 특성을 분석한다.
• DM 확산 모델의 학습 목표가 주파수 거동 및 아티팩트 여부에 미치는 원인을 조사한다.

제안 방법

• 세 가지 CNN 기반 탐지기(Wang2020, Gragnaniello2021, Mandelli2022)를 DM 및 GAN 이미지에 대해 AUROC 및 Pd@FAR(1%)로 평가한다.
• DM 생성 이미지로 탐지기를 재훈련하고 다수의 DM 및 GAN 생성기 간의 교차 모델 일반화를 테스트한다.
• t-SNE로 학습된 특징 공간을 분석하고 DFT, DCT, 축소 스펙트럼을 통해 주파수 영역 아티팩트를 조사한다.
• 확산 학습 목표가 높은 주파수 콘텐츠에 미치는 영향과 denoising 중 스펙트럼의 과소 추정을 조사한다.

실험 결과

연구 질문

• RQ1 사전 학습된 GAN 탐지기가 실제 이미지와 DM 생성 이미지를 신뢰성 있게 구분할 수 있는가?
• RQ2 DM 생성 데이터로 탐지기를 재훈련하면 DM 탐지 및 GAN으로의 일반화에 도움이 되는가?
• RQ3 DM 및 GAN 생성 이미지 간의 특징 표현 및 주파수 영역 아티팩트에 어떤 차이가 있는가?
• RQ4 DM 학습 목표가 생성된 이미지의 고주파 콘텐츠에 어떤 영향을 주는가?
• RQ5 확산 샘플링 스텝 수가 스펙트럼 정확도와 탐지 가능성에 어떤 영향을 주는가?

주요 결과

• 사전 학습된 GAN 탐지기는 DM 생성 이미지에서 성능이 크게 떨어지며 평균 AUROC 감소가 약 15.2포인트 수준이다.
• DM 생성 이미지로 재훈련된 탐지기는 DM 데이터에 대해 거의 완벽한 탐지 성능을 달성하고 GAN에도 일반화한다.
• DM 이미지로 학습된 탐지기는 GAN 및 DM 생성 이미지를 유사한 임베딩으로 매핑하여 DM 특유의 아티팩트가 적다는 것을 시사한다.
• DM 생성 이미지는 일반적으로 GAN에서 흔히 보이는 격자(grid) 형태의 주파수 아티팩트를 결여하고, 학습 목표로 인해 고주파 콘텐츠를 과소 추정하는 경향이 있다.
• 확산 denoising 스텝 수를 늘리면 고주파 재현 및 탐지 성능이 향상되고, 스텝 수가 적을수록 더 큰 과소 추정이 나타난다.