[논문 리뷰] Exposing the Fake: Effective Diffusion-Generated Images Detection

Ruipeng Ma, Jinhao Duan외 3명|arXiv (Cornell University)|2023. 07. 12.

Generative Adversarial Networks and Image Synthesis인용 수 10

한 줄 요약

SeDID는 확산 모델의 단계별 역노이즈 오차를 활용하여 확산 생성 이미지를 탐지하며, 두 가지 분기(통계 기반 및 NN 기반)가 CIFAR10, TinyImageNet, CelebA에서 이전 방법보다 우수합니다.

ABSTRACT

Image synthesis has seen significant advancements with the advent of diffusion-based generative models like Denoising Diffusion Probabilistic Models (DDPM) and text-to-image diffusion models. Despite their efficacy, there is a dearth of research dedicated to detecting diffusion-generated images, which could pose potential security and privacy risks. This paper addresses this gap by proposing a novel detection method called Stepwise Error for Diffusion-generated Image Detection (SeDID). Comprising statistical-based $ ext{SeDID}_{ ext{Stat}}$ and neural network-based $ ext{SeDID}_{ ext{NNs}}$, SeDID exploits the unique attributes of diffusion models, namely deterministic reverse and deterministic denoising computation errors. Our evaluations demonstrate SeDID's superior performance over existing methods when applied to diffusion models. Thus, our work makes a pivotal contribution to distinguishing diffusion model-generated images, marking a significant step in the domain of artificial intelligence security.

연구 동기 및 목표

• 확산 생성 이미지를 탐지해야 하는 필요성과 초기 단계 재구성에만 의존하는 기존 방법의 한계를 제시합니다.
• 중간 확산 단계 전반에서 결정론적 역 및 잡음 제거 오차를 활용하도록 SeDID를 제안합니다.
• 실데이터와 생성 데이터 간의 분포 차이를 강조하기 위해 멤버십 인퍼런스 어프로치를 적용합니다.
• 다중 데이터셋에서 평가하고 이중 탐지 분기(통계적 및 신경망 기반)를 제공합니다.
• SeDID가 기존 접근법보다 우수한 탐지 성능을 달성함을 보입니다.

제안 방법

• deterministic denoising 및 reverse 함수(ψθ 및 φθ)와 reverse 샘플과 denoise 샘플 간의 차이를 측정하는 t,δ-오차 E_{t,δ}를 형식화합니다.
• 선택된 확산 시점에서 E_{T_SE,δ}를 계산하기 위해 Δt와 단계 설정 T_SE를 정의합니다.
• SeDID의 두 가지 변형을 개발합니다: SeDID_Stat( E_{T_SE,δ를 이용한 임계값 기반 분류) 및 SeDID_NNs(intermediate diffusion outputs로부터 진짜 vs 합성 샘플을 예측하도록 학습된 ResNet-18)
• 두 분기에 대해 평가 지표로 AUC, ACC, 및 TPR@FPR를 사용합니다.
• DDPM/DDIM과 유사한 과정의 방정식에 기반한 방법을 지지하고, Appendix에서 Latent Diffusion Model(LDM)에 적응합니다.
• SecMI에서 영감을 얻은 멤버십 인퍼런스 아이디어를 도입하여 실제 데이터와 생성 데이터 간의 분포 차이를 강조합니다.

실험 결과

연구 질문

• RQ1 실제로 자연스럽고 확산으로 합성된 이미지 간의 분포 차이를 활용하여 구분할 수 있을까?
• RQ2 확산 과정의 중간 단계에 최종 역전 x0에서의 정보 외에 탐지에 유의미한 신호가 포함되어 있는가?
• RQ3 SeDID가 DIRE 및 SecMI 기반 접근법과 같은 기존 확산 생성 이미지 탐지기보다 우수한가?

주요 결과

T	CIFAR10 AUC	CIFAR10 ACC	TinyImageNet AUC	TinyImageNet ACC	CelebA AUC	CelebA ACC
165	0.4954	0.5089	0.1278	0.5000	0.9985	0.9843
330	0.5415	0.5279	0.0606	0.5000	0.4213	0.5103
495	0.5695	0.5579	0.5125	0.5240	0.2240	0.5001
660	0.5667	0.5845	0.4971	0.6059	0.1866	0.5489
825	0.8650	0.7992	0.9827	0.9615	0.0001	0.5000
990	0.8875	0.8244	0.9998	0.9966	0.0000	0.5000

• SeDID 변형은 세 가지 데이터셋(CIFAR10, TinyImageNet, CelebA)에서 기존 방법보다 더 높은 AUC 및 ACC를 달성합니다.
• SeDID_Stat: CIFAR10 AUC 0.8874, ACC 0.8244; TinyImageNet AUC 0.9266, ACC 0.9004; CelebA AUC 0.9983, ACC 0.9825.
• SeDID_NNs: CIFAR10 AUC 0.8903, ACC 0.8218; TinyImageNet AUC 0.9999, ACC 0.9980; CelebA AUC 1.0000, ACC 1.0000.
• 데이터셋 간 평균 비교는 기저 방법(Matsumoto et al. 2023)에 비해 상당한 이익을 보여줍니다.
• 최적의 탐지 성능은 T_SE 및 δ에 따라 다르며, δ = 165가 모든 데이터셋에서 최상의 결과를 제공합니다.
• Table 1의 결과에서 CIFAR10과 TinyImageNet의 경우 더 큰 diffusion time T에서 탐지 성능이 향상되지만, CelebA는 더 높은 T에서 다른 경향을 보입니다.