[논문 리뷰] DIRE for Diffusion-Generated Image Detection

Zhendong Wang, Jianmin Bao외 5명|arXiv (Cornell University)|2023. 03. 16.

Generative Adversarial Networks and Image Synthesis인용 수 4

한 줄 요약

이 논문은 사전 훈련된 확산 모델을 통해 입력 이미지와 그 재구성 간의 재구성 오차를 측정하는 새로운 이미지 표현 DIRE(Diffusion Reconstruction Error)를 제안한다. DIRE는 생성된 이미지가 실제 이미지보다 더 정확하게 재구성된다는 사실을 활용하여, 미리 훈련된 확산 모델을 기반으로 한 고정밀도의 확산 생성 이미지 탐지 기능을 제공하며, 미리 보지 못한 모델과 다양한 변형에 대해 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Diffusion models have shown remarkable success in visual synthesis, but have also raised concerns about potential abuse for malicious purposes. In this paper, we seek to build a detector for telling apart real images from diffusion-generated images. We find that existing detectors struggle to detect images generated by diffusion models, even if we include generated images from a specific diffusion model in their training data. To address this issue, we propose a novel image representation called DIffusion Reconstruction Error (DIRE), which measures the error between an input image and its reconstruction counterpart by a pre-trained diffusion model. We observe that diffusion-generated images can be approximately reconstructed by a diffusion model while real images cannot. It provides a hint that DIRE can serve as a bridge to distinguish generated and real images. DIRE provides an effective way to detect images generated by most diffusion models, and it is general for detecting generated images from unseen diffusion models and robust to various perturbations. Furthermore, we establish a comprehensive diffusion-generated benchmark including images generated by eight diffusion models to evaluate the performance of diffusion-generated image detectors. Extensive experiments on our collected benchmark demonstrate that DIRE exhibits superiority over previous generated-image detectors. The code and dataset are available at https://github.com/ZhendongWang6/DIRE.

연구 동기 및 목표

• 딥페이크 및 개인정보 유출 위험을 초래하는 확산 생성 이미지에 대한 신뢰할 수 있는 탐지 기술이 필수적이라는 점을 해결하기 위해.
• 유사한 데이터로 훈련된 경우에도 다양한 확산 모델 간 일반화에 실패하는 기존 탐지기의 한계를 극복하기 위해.
• 미리 보지 못한 확산 모델과 변형에 대해 일반화 가능하고, 내성적이며 효율적인 탐지 프레임워크를 개발하기 위해.
• 확산 생성 이미지 탐지기 평가를 위한 종합적인 벤치마크 데이터셋을 구축하기 위해.
• 실제 이미지와 생성된 이미지 간의 재구성 오차 차이가 강력하고 일반화 가능한 탐지 신호로 기능할 수 있음을 입증하기 위해.

제안 방법

• 사전 훈련된 확산 모델을 통해 원본 이미지와 재구성 이미지 간의 절대 차이로 계산되는 DIRE라는 새로운 이미지 표현을 제안한다.
• DDIM 기반의 역전환 및 노이즈 제거를 사용하여 입력 이미지를 재구성하며, 확산 모델이 자체적으로 생성한 출력을 더 정확하게 재구성할 수 있다는 사실을 활용한다.
• 실제 이미지와 생성된 이미지 간을 구분하기 위해 DIRE 특징을 기반으로 단순한 이진 분류기를 훈련시켜, 미리 보지 못한 모델에 대한 일반화를 보장한다.
• 재구성 잔차에 절대값 연산을 적용하여, 특히 Stable Diffusion v1과 같은 도전적인 모델에서 탐지 성능을 크게 향상시킨다.
• 주파수 및 노이즈 패턴 분석을 통해 DIRE가 실제 이미지와 생성된 이미지 간의 저수준 차이를 잘 포착하고 있음을 정성적으로 검증한다.
• LSUN-Bedroom 및 ImageNet에서 다양한 확산 모델(무조건적, 조건부, 텍스트-이미지 유형 포함) 8종에서 생성된 이미지를 포함한 DiffusionForensics 벤치마크 데이터셋을 구축한다.

실험 결과

연구 질문

• RQ1 재구성 오차 기반 표현은 실제 이미지와 확산 생성 이미지 간을 효과적으로 구분할 수 있는가?
• RQ2 DIRE 표현은 훈련 중에 볼 수 없었던 확산 모델로 일반화되는가?
• RQ3 Gaussian 노이즈, 블러, JPEG 압축과 같은 일반적인 이미지 변형에 대해 DIRE 기반 탐지기는 얼마나 내성적인가?
• RQ4 DDIM 샘플링 스텝 수가 DIRE 기반 탐지 성능에 어떤 영향을 미치는가?
• RQ5 탐지 작업에 있어 원시 RGB 또는 재구성된 이미지보다 DIRE가 더 효과적인 입력 표현인가?

주요 결과

• DIRE는 훈련 데이터에 포함되지 않은 미리 보지 못한 Stable Diffusion v1로 생성된 이미지에서 99.7%의 정확도와 100%의 평균 정밀도를 달성하여 기존 방법보다 뚜렷이 뛰어난 성능을 보였다.
• 실제 이미지와 생성된 이미지 간의 재구성 오차 차이가 내재되어 있어, DIRE 기반 탐지기는 실제 훈련 데이터에 포함되지 않은 다양한 확산 모델로도 효과적으로 일반화된다.
• 재구성 잔차에 절대값 연산을 적용함으로써 SD-v1에서 정확도가 최대 12.7%p 향상되었으며, 이는 절대값 연산이 핵심적인 역할을 한다는 것을 확인한다.
• Gaussian 노이즈, 블러, JPEG 압축과 같은 다양한 변형에 대해 높은 탐지 성능을 유지하며 내성성이 뛰어나다.
• 정성적 분석 결과, DIRE는 저수준의 차이를 잘 포착한다: 실제 이미지는 생성된 이미지보다 더 구조적인 노이즈 패턴과 풍부한 주파수 스펙트럼을 보인다.
• DIRE와 원시 RGB 이미지를 조합하면 성능이 악화되며, 이는 DIRE 자체가 탐지 작업에 있어 더 효과적이고 충분한 표현임을 시사한다.